Torvet, der historisk set er byens hjerte, blev omlagt og udvidet i perioden 2003‑14 med ny udformning af landskabsarkitekt Charlotte Horn, Varde Kommune og GHB Landskabsarkitekter. Kirken står på højdepunktet, et pikstenstæppe, hvorfra Torvet falder ned mod åen. Inspireret af den for byen vigtige Varde Å har Torvet fået et slyngende belægningsmønster i chaussésten, brosten og borduresten, udformet som et bugtende vandløb i belægningen og med en vandkunst.
Vardes gamle rådhus, tegnet af L.A. Winstrup og opført i 1872, dominerer Torvet med sit kraftige tårn og kamtakkede gavle. Rådhuset havde administrative funktioner frem til 1976 og benyttes i dag til vielser og repræsentative formål. I 1982 tegnede Grønne og Thorup Varde Biblioteks hovedbygning, som er bygget sammen med rådhuset. Sillasens Hus fra 1797, Torvet 5, et enetages, mørkerødt teglstenshus med hvide gesimser og to knækkede hjørner i facaden, er et eksempel på byens ældre bygninger. Den Schultzske Gård, Torvet 4, blev bestilt af købmand Peder Schultz, tegnet af Mikkel Stobberup og opført 1796‑97. Den klassicistiske bygning er trods en del ombygninger repræsentativ for sydvestjysk arkitektur omkring år 1800.
Kvarteret omkring Kræmmergade og Torvegade er præget af samme historicistiske udtryk som det gamle rådhus, da den ældre bebyggelse i årtierne omkring århundredeskiftet blev erstattet af toetagers borgerhuse ofte med stilistisk inspiration fra italienske renæssancepalæer. Murermester Henrik Ferdinand Hansen satte sit klare aftryk på de ældre dele af Varde i form af flere etageejendomme samt Varde Håndværkerforenings bygning fra 1889‑90, som også er inspireret af italiensk renæssance.
Den tidligere Toldbod ved Varde Å, Storegade 1, er en gulpudset bygning med hvidtede gesimser tegnet af L.A. Winstrup i 1862. Toldstedet fungerede frem til 1970. Varde Station er tegnet af N.P.C. Holsøe og opført i 1874 i blankmur af gule teglsten med skifertag i en italienskinspireret stil. Sammen med den tidligere tekniske skole, oprindelig opført som pigeskole i røde sten med skifertag, udgør de eksempler på den tidlige industrikulturs bygninger i byen. Vardes anden banegård, Varde Vest Station, er tegnet af Heinrich Wenck og opført i 1903. Bygningen, der var billetkontor og bolig for Vestbanens direktør, er bygget i herregårdsstil med klare stiltræk fra barokken.
Arnbjergparken med rester af Wallensteins skanse fra 1627 er et karakteristisk eksempel på en tidlig bypark, anlagt 1829‑42 af byfoged Andreas Claus Wedel-Heinen og hans hustru, hofdame Elisabeth von Krogh, som ville forskønne det barske landskab med træplantninger.
Øst for den gamle bymidte ligger Vardemuseerne fra 1914 på Lundvej 4, hvis stil låner træk fra vestjyske købmands- eller herregårde samt barokken. Grosserer Cornelius Stau bestilte bygningen, som er tegnet af Thorvald Jørgensen. I området omkring museet og det tidligere Amtssygehus ligger et af de nye kvarterer udstykket fra omkring år 1900. Lidt længere ude ad Lundvej ligger Jugendhuset, som er en villa i skønvirkestil. Bygningen fik sit nuværende udseende i 1901 af C.H. Clausen, der især kendes for sine bygninger i Esbjerg.
I byens nordlige kvarter ligger det nuværende Varde Rådhus fra 2015 tegnet af RUBOW arkitekter A/S. Bygningen består af tre enkle bygningskroppe, og det midterste, kaldet Byens Forum, er et rum i dobbelt højde.
