Trøjborg kendes fra midten af 1300‑tallet, hvor den var ejet af den slesvigske uradelsslægt Limbek. Claus Limbek solgte Trøjborg til Margrete 1. i 1407, hvorefter hun overførte den store ejendom til Ribe bispestol og lagde godset under kongeriget og Viborg Landsting. Ejendommen kom efterfølgende til at udgøre en betydelig del af de kongerigske enklaver i Sønderjylland. Den nuværende borg er bygget delvis oven på den middelalderlige.
Ved Trøjborg rejser ruinen af Trøjborgs gamle renæssanceborg sig malerisk på et voldsted omgivet af grave og store træer. Øst herfor ligger Trøjborgs nuværende hovedbygning, et hvidkalket stuehus fra omkring 1780 med en tilføjet sydlig længe fra 1870’erne samt avlsbygninger. I 1579 indgik lensmanden Peter Rantzau imidlertid en byttehandel med kongen, hvorved han selv blev ejer af Trøjborg. Han gik straks i gang med opførelsen af en prægtig renæssanceborg i fire fløje og to etager oven på en sokkel af granit. Nord- og sydfløjen udgjorde bygningens hovedfløje, mens der i borggårdens fire hjørner blev placeret trappetårne med kobberspir. Bygningen var omgivet af en vandfyldt grav med vindebro, og graven var befæstet med palisader. Det borglignende anlæg var formodentlig tegnet af Hercules von Oberberg, der var beskæftiget ved flere fyrstelige bygninger i regionen. Rantzauslægten sad på Trøjborg Indtil 1673, hvor den via ægteskab overgik til slægten von Buchwald.
Frederik von Buchwald ejede Trøjborg i midten af 1700-tallet, og i hans periode blev hovedbygningen tillempet barokkens idealer, herunder med rødkalkede mure med hvide hjørner. Derudover blev den oprindelige vindebro erstattet af en muret bro.
I 1851 købte Knud Lausten Knudsen Trøjborg. Han var fremtrædende inden for det nationale og religiøse vækkelsesarbejde i Sønderjylland og kom i forbindelse med N.F.S. Grundtvigs tanker gennem Christen Kold, der var huslærer for hans børn. Knud Lausten Knudsen ønskede ikke selv at bo i Trøjborgs gamle hovedbygning og tilbød den danske stat at overtage den. Da staten imidlertid takkede nej, nedrev ejeren bygningen i 1854, og kun den sydlige ydermur samt dele af kælderetagen fik lov til at blive stående. Trøjborgs nye bygning, der i dag fremstår som en klassicistisk herregårdsbygning, er opført ved siden af det oprindelige borganlæg. Hovedbygningen med rødt tegltag har en ydmyg hvidkalket symmetrisk facade i lighed med flere vestslesvigske gårde. Søren Degn Clausen ejer i dag Trøjborg og driver landbrug. Endvidere udlejes dele af hovedbygningen til ferielejligheder.
Årsagen til, at Trøjborg ikke blev revet helt ned, var, at broen over voldgraven brød sammen under nedrivningsarbejdet, hvorfor forehavendet måtte opgives.
