På en holm i Vidå ud for Tønders havn og sognekirke påbegyndte hertug Erik Abelsen 1268-70 byggeriet af en borg, Tønderhus. Dele af borgen blev arkæologisk undersøgt i årene 1970-80 og 1996-97. På holmen havde der, indtil borgbyggeriet blev påbegyndt, ligget en gård i mindst to faser, anlagt i 1100-tallet.
Med udgangspunkt i den naturlige holm blev der etableret tre kunstige borgbanker i det fugtige terræn. De var opbygget af tilkørt jord, som ud mod voldgravene var kantet med klægtørv og nedhamrede pæle. I nord, nærmest byen, lå forborgen, der blev etableret i perioden 1270-ca. 1330, og som blev udvidet to gange i løbet af senmiddelalderen. I 1523, efter den sidste udbygning, dækkede forborgen et areal på omtrent 2.500 m2. Syd for denne lå borgens hovedbanke, hvis størrelse og udseende er ukendt, da den forsvandt under det senere renæssanceslot. Endelig var der mod øst en tredje, lancetformet borgbanke, der bl.a. rummede en teglbygget hovedbygning med en hypokaust, der er et opvarmningsanlæg med varmluft.
I årene efter 1511 blev den middelalderlige borg nedrevet, voldgravene mellem de tre banker fyldt op, og et helt nyt renæssanceslot opført. Det kom til at bestå af et trefløjet anlæg omgivet af volde, grave og bastioner.
Både Frederik 1., Christian 3. og hertug Hans den Ældre foretog store byggearbejder på slottet. Selve slottet blev opført af de to første bygherrer, mens Hans den Ældre i perioden 1574-80 lod arkitekten Hercules von Oberberg udstyre slottet med skyttegange, to store rondeller mod sydøst og nordvest samt en portbygning igennem den 25 m brede østlige vold. Fæstningsværkerne kom aldrig i brug og blev sløjfet i 1677, og slottet blev, bortset fra den østlige del af portbygningen, nedrevet i 1750.
