Der er kendskab til 13 forsvarsanlæg og voldsteder i kommunen, hvoraf ni endnu er tydelige i terrænet, to er meget nedpløjede, men kan erkendes, og to er forsvundne. Hovedparten af borgene er opført i den urolige tid mellem 1286 og år 1400, men de har i de fleste tilfælde kun fungeret i få år. Der er også kendskab til en række herregårdspladser anlagt i senmiddelalderen og renæssancen.
Tønder Kommunes herregårde er få, men dog anseelige. Både Schackenborg og Trøjborg, der ligger hhv. vest og nordvest for Tønder, kendes fra middelalderen, hvor de var kirkegods, og de har begge været ejet af nogle af Sønderjyllands mest markante adelsslægter. De to herregårdes nuværende bygningsanlæg afspejler dog to vidt forskellige skæbner i nyere tid. Mens Schackenborg i en årrække har fungeret som kongelig residens, blev Trøjborgs renæssanceborg nedrevet i midten af 1800‑tallet og kan nu blot ses som en stemningsfuld ruin nær den nuværende hovedbygning.
