Varde voksede op ved et vadested over Varde Å. Byen omtaltes første gang i 1100-tallet, da der sad en kongelig embedsmand på Vardehus, der lå ca. 1 km vest for byen. Byens to kirker, Sankt Nicolai, som blev revet ned i begyndelsen af 1800-tallet og Sankt Jacobi, stammer fra romansk tid. Varde var tilsyneladende allerede på denne tid en betydelig by og har fungeret som tingsted.
Fra begyndelsen af 1200-tallet til slutningen af 1300-tallet var Varde underlagt de slesvigske hertugers og de holstenske grevers herredømme, og Vardehus blev i de urolige år flyttet ind mod øst til en lille holm i åen syd for byen. I forbindelse med et bondeoprør i 1439 blev borgen ødelagt. Samme år kvitterede Rigsrådet for denne handling ved at afbrænde byen.
Vardes ældst kendte købstadsprivilegier stammer fra 1442, og en bro over åen nævnes første gang i 1463. Der blev i 1520 oprettet et hospital (social stiftelse) for fattige i byen. Byens opland egnede sig fortrinligt til studeopdræt, og i 1500-tallet blev Vardes eksport af stude ganske betydelig. Havnen kunne ikke anløbes af større skibe; derfor benyttedes Hjerting, Janderup og Ho som lade- og lossepladser. Byen brændte i hhv. 1551 og 1590, og handelen gik herefter tilbage. 1600-tallets krige gjorde kun ondt værre, og en strid med Hjerting kulminerede i 1692, da toldstedet blev flyttet fra Varde til Hjerting.
Ulykkerne fortsatte med at ramme Varde, da byen igen brændte i 1779. Byen var i slutningen af 1700-tallet så forarmet, at det blev overvejet at fratage byen dens privilegier. I 1787 var der kun 811 indbyggere i byen, men fra begyndelsen af 1800-tallet gik det igen fremad. I 1834 var befolkningstallet vokset til 1.430. Selv om byen igen blev hærget af en brand i 1821, fortsatte fremgangen, og i 1846 blev toldstedet flyttet tilbage til Varde.
I perioden 1850‑1921 voksede befolkningstallet fra 1.770 til 5.262, men på trods af dette skete der i årene 1880‑1911 også en afvandring fra byen. Det var unge mænd, der forlod byen, som ikke havde tilstrækkeligt med attraktive arbejdspladser. Der var omkring år 1900 to industrivirksomheder, nemlig Varde Jerntraadsspinderi, etableret i 1898, og Varde Uldspinderi og Klædefabrik fra ca. år 1900. Først i 1913 grundlagdes Varde Stålværk.
Varde var oplandsby for et relativt velstående område, og derfor havde byen et stort antal håndværksfag; således kendes over 30 forskellige fag i 1850. Et andet hovederhverv var handel. Store købmandshuse drev en omfattende handel med landbrugsvarer, som eksporteredes til Hamborg/Altona via havnen i Hjerting. Betalingsmidlet i denne handel var veksler. Da byens sparekasse (etableret 1850) ikke diskonterede veksler, var der behov for en forretningsbank, og i 1872 oprettede velstående folk fra byen og oplandet Varde Bank.
Med loven om næringsfrihed i 1857 og jernbanens anlæggelse med forbindelse til Esbjerg i 1874 og til Ringkøbing i 1875 blev der flere detailhandlere i byen. Da en del håndværk blev udkonkurreret af industrivarer, blev nogle af håndværkerne butikshandlere. Detailhandel og håndværk forblev byens førende erhverv, der blev styrket af de nye jernbaner Varde-Nørre Nebel i 1903 og Varde-Grindsted i 1919.
Landbrug var også et vigtigt erhverv i byen. I 1920 var der 134 avlsbrugere i købstaden. Varde fik et privat slagteri i 1866, der som et af de første slagterier i landet producerede bacon til det engelske marked. Et andelsmejeri åbnede i Nørregade i 1908. Byens og oplandets kvægavl gjorde i denne periode levekvægsmarkederne i Varde til Nordeuropas største.
Befolkningen boede i 1850 inden for voldgaderne. Fra 1860 bredte bebyggelsen sig ud på byens markjorder. Byen fik gasværk i 1885, vandværk i 1906, og i 1908 blev der bygget et privat elværk, som kommunen overtog i 1913. Amtssygehuset i Varde blev bygget på Østervold i 1879; i 1919 blev der opført et nyt sygehus på Frisvadvej, hvorefter huset på Østervold blev til et alderdomshjem.
Varde Stålværk udviklede sig til byens største arbejdsplads med ca. 200 ansatte i slutningen af 1930’erne. I 1953 blev Varde garnisonsby, da Sønderjyske Artilleriregiment indtog den nybyggede kaserne ved Hjertingvej. Varde fik et gymnasium i 1968. Der kom nye industrier til byen i disse år, bl.a. begyndte emballagefabrikken Sky-Light på Tømrervej i 1960, og i 1962 opførte Jacob Holm & Sønner en fabrik på Engdraget, der producerede garnprodukter af plast. Samme sted begyndte Falkenborg Stålindustri i 1968 at fremstille stålkedler. Slagteriet lukkede i 1967.
I 1950’erne skød boligkarréer op ved Ringkøbingvej og ved banegården. Der kom parcelhuskvarterer mellem Lundvej og Lerpøtvej, og i 1960’erne blev der bygget langs Hjertingvej og syd for denne. Kvickly åbnede byens første supermarked i 1967. Befolkningstallet steg og var i 1970 vokset til 11.615.
Jerntrådsspinderiet brændte i 1980 og blev ikke genopbygget, endvidere ophørte Varde Stålværk i 1984. I 1993 måtte Varde Bank lukke, hvorefter Sydbank tog over fra 1994. Levekvægsmarkederne blev i 1980’erne mindre, da opkøberne begyndte at købe direkte hos kvægopdrætterne, og det sidste marked blev afholdt i 1989. Nye supermarkeder kom til byen, og dette, samtidig med at internethandelen begyndte at gøre sig gældende, medførte, at en del mindre butikker måtte dreje nøglen om. Varde bevarede imidlertid sit præg af handels- og serviceby pga. kasernen samt turismen, som fra 1980’erne og frem udviklede sig til et vigtigt erhverv. Efter et mindre fald i befolkningstallet i 1970’erne voksede det igen, og i 2006 var der 12.791 indbyggere i Varde. Der opstod nye parcelhuskvarterer, fx Møllekvarteret.
