Den kongelige lensgård Skivehus ved Karup Å, der fungerede som kongsgård, dvs. administrativt center for kongemagten i området, omtales allerede i Kong Valdemars Jordebog fra første halvdel af 1200-tallet (som »Skivegård«). Fra ca. år 1400 kom et kongeligt birketing. Det var også på Skivehus, kongerne tog ophold, når de befandt sig i Salling. Anlægget menes i middelalderen at have bestået af en borgbanke med en to stokværk høj hovedfløj, et porthus og sidefløje; alle i bindingsværk. Umiddelbart vest for borgbanken lå den tilhørende ladegård.
Under svenskekrigene i 1600-tallet blev de gamle bygninger ødelagt. Kronen frasolgte Skivehus i 1661, og de private ejere opførte nye fløje i 1700- og 1800-tallet. Af den middelalderlige kongsgård, der tidligere var befæstet med voldgrave på tre sider og med Karup Å på den fjerde side, er der muligvis bevaret en rest i en kælder under en bindingsværkslænge opført af Verner Parsberg i 1719 i den nuværende østfløj.
Sidst i 1700-tallet oprettedes en ny ladegård uden for byen med navn Ny Skivehus. Med tiden begyndte Skivehus at blive omtalt som Gammel Skivehus.