Herregården Krabbesholm har navn efter rigsråd og lensmand på Skivehus (nu Gammel Skivehus) Iver Krabbe, der ejede Krabbesholm fra 1554. I 1560 fik han birkeret til sin herregård Skovshoved, som enken Magdalene Banner omdøbte til Krabbesholm. I 1562 fik kronens bønder i Skivehus Len befaling om at »køre de sten, hun havde købt til byggeriet på sin gård«, og to år senere har »Magdalene Banner sendt sin skipper til Norge for at føre en skibsladning egetømmer til hendes gårds bygning ved Skive«. Opførelsen af det anseelige herresæde af store munkesten i uregelmæssigt vendisk forbandt (dvs. skiftevis løber og binder) med betydelige mængder groft kløvede kampestenskvadre dateres ofte til disse år, selv om intet byggeår er kendt. Den robuste materialevirkning såvel som murværkets talrige dekorative blændinger, gavlenes markante højblændinger og usædvanlige patriarkalkors, som genfindes på andre senmiddelalderlige jyske herregårde, fx Odden og Tirsbæk, kunne tyde på en tidligere oprindelse.
Til Krabbesholm føjedes senere et ottekantet hjørnetårn (oprindelig med højt lanternespir) og mod gården et tårnagtigt fremspringende korshus støttet til et rundt trappetårn, begge ligeledes med karakteristiske blændingsnicher, formentlig til dekoration.
De 28 fag lange fløje af svært egebindingsværk, der slutter sig til stenhuset, stammer formentlig fra 1750’erne i lensbaron og amtmand på Skivehus Verner Rosenkrantz’ ejertid 1743-73, hvor store anlægsarbejder fandt sted, og der blev ført herskabeligt hus på Krabbesholm. Vinduerne blev udvidet for at give lys til den veludstyrede og kulturhistorisk interessante beboelse, der bag nyere vægge og lofter synes at stå intakt, bl.a. med loftbjælkernes festlige jagtmotiver, stuk og kraftfuldt træværk. Riddersalen er udsmykket af Olaus Carolus Wassmann i 1759. På loft og vægge skildres scener fra guders og menneskers verden, og i hjørnerne er de fire verdensdele, man kendte dengang, repræsenteret. Stilen er italiensk rokokoinspireret, og salen er af kunsthistorikeren Christian Elling omtalt som et hovedværk i »jysk rokoko«.
Maleren Christen Dalsgaard, der var kendt for sine sjældent farvefine luftstudier og tegnede figur- og folkelivsskildringer, voksede op på Krabbesholm. Herregården lå tidligere naturskønt ud til Skive Fjord, men da jordtilliggendet blev solgt fra i 1906, blev havnen og industrikvarteret kraftigt udvidet. Krabbesholms tid som herregård var forbi, og snart begyndte en ny epoke som Krabbesholm Højskole.
