Det ældst kendte Vardehus lå på Varde Ås nordlige bred, hvor der stod et kvadratisk trætårn. Dette anlæg blev omkring år 1300 erstattet af det andet Vardehus af sten, som lå syd for åen. Borgbanken kan endnu ses tæt ved den nuværende bro. Under de store bondeoprør 1438‑41 blev Vardehus afbrændt af bønderne d. 2. april 1439. Efter borgens ødelæggelse skal bønderne have søgt tilholdssted i byen, men d. 29. maj samme år indtog Rigsrådets hær byen og afbrændte den. Vardehus blev ikke genopført, men ladegården, der lå på en nærliggende banke, blev benyttet af lensmanden indtil 1511, hvor den blev solgt til privat eje.
Vardehus 1, der ikke var kendt under dette navn i middelalderen, lå nord for Varde Å, hvor traditionen placerer en kongsgård i 1100‑1200-tallet. Her blev der i 1977 påvist rester af en borgbanke med en diameter på 40 m, der var omgivet af en 14 m bred og 1 m dyb voldgrav. Banken blev sløjfet i 1788, men beskrives da som 7 m høj. I banken blev fundet rester af en kraftig fundering bestående af svært egetømmer, der har båret en 7,5 x 7,5 m stor bygning, sandsynligvis et trætårn. Et lignende anlæg, Riber Ulfsborg i Esbjerg Kommune, er dateret til samme periode.
Syd for Varde Å ligger det velbevarede voldsted Vardehus 2, også kaldet Slotsbanken. Anlægget var i de holstenske hertugers og grevers besiddelse, indtil borgen i 1395 blev overtaget af Margrete 1. Borgen blev ødelagt i 1439, da oprørske bønder stormede den. Den blev aldrig genopbygget. Voldstedet består af en ca. 5 m høj rektangulær, kunstigt opbygget banke, der måler omtrent 47 x 35 m. Banken omgives af en ca. 8 m bred voldgrav, der har fået sit vand fra åen. Ved en undersøgelse i 1935, hvor der blev fundet rester af en 17 m lang bygning, fremkom bl.a. våben og et samlet fund af 35 mønter fra kong Erik af Pommerns regeringstid 1412‑39. Fundene daterer borgens funktionstid til perioden fra omkring år 1300 til begyndelsen af 1400-tallet. Borgens ladegård har ligget på en nærliggende banke, der bortgravedes i forbindelse med reguleringen af Varde Å i 1800-tallet.
