Herregården Hagenskov har en fortid som kongeborg og optræder første gang i skriftlige kilder i 1251, hvor kong Abel udstedte et brev på denne. Under ærkebispestriden mellem kirke og kongemagt tilfangetog kong Christoffer 1. ærkebisp Jakob Erlandsen og satte ham i fængsel på Hagenskov i 1259. Borgen pantsattes i første halvdel af 1300‑tallet og kom i holstenske grevers besiddelse. Først i 1396 under dronning Margrete 1. kom den tilbage under kronen. Hagenskov forblev kongelig ejendom frem til 1667. I 1741 brændte borgens bygninger.
Da borgen Hagenskov var i brug, lå den dog ikke, hvor herregården af samme navn findes i dag. Et voldsted ved Ebberup ca. 6 km øst for Assens menes at være resterne af det oprindelige Hagenskov. På stedet kan i dag ses en ca. 4 m høj kvadratisk borgbanke med sider på ca. 16 m. Dens form er et resultat af senere tiders ændringer, som omfatter reguleringer af bankens sider samt en udgravning foretaget af Frederik 7. i 1840’erne, der efterlod bankens top med et stort, næsten 4 m dybt hul. Ved udgravningen fandt man resterne af et munkestenstårn rejst på et fundament af kampesten. På et tidspunkt må borgen være flyttet til ca. 500 m sydøst for det nuværende Hagenskov, hvor der findes endnu et voldsted bestående af en ca. 100 m lang, nærmest oval banke, der er omgivet af en våd voldgrav og en ydervold. På toppen af banken er der en terrasseopdelt have fra anden halvdel af 1700-tallet. I bankens nordlige side findes et cirkulært, kampestensmuret hul med en diameter på ca. 7 m, kaldet Fangehullet.
