I den ellers så borgfattige region findes der i Varde Ådal ikke mindre end fem middelalderlige voldsteder: Vardehus 1 og 2, Elkærhøj, Knubholm og Visselbjerg. Fra gammel tid ejede kongen meget jord på egnen, men herudover kan Ribebispen, holstenske grever og panthavere samt lokale herremænd have været mulige bygherrer.
Allerede i 1145 udstedte Ribebispen Elias privilegier til kirken i Ribe fra sin gård i Henne, nord for Varde, og udgravninger på den nuværende Hennegård indikerer, at der måske findes kulturlag fra 1100-tallet på stedet. Herudover kan en stensat kælder her stamme fra middelalderen.
Vardehus 1, der ikke var kendt under dette navn i middelalderen, lå nord for Varde Å, hvor traditionen placerer en kongsgård i 1100‑1200-tallet. Syd for Varde Å ligger det velbevarede voldsted Vardehus 2, også kaldet Slotsbanken.
Ved Karlsgårde lå Knubholm, som er arkæologisk dateret til 1300-tallet, mens herregården Nørholm via skriftlige kilder kan dateres til før år 1400. Et stykke oppe ad tilløbet Linding Å ligger den lille borgbanke Yderik, der er arkæologisk dateret til 1300-tallet. Endelig findes ruinen af en stensat kælder, lokalt kaldet Lunde Barfred, i Lunde. Der er tale om en herregårdsplads. Ruinen ligger i en svag højning og er ikke arkæologisk dateret, men Christian 3. opholdt sig på stedet i 1537, så der er næppe tvivl om, at det har sin oprindelse i middelalderen.