Varde har en befolkning på 13.989 og et areal på 9,5 km2. Byen ligger ved Varde Å, 17 km nord for Esbjerg og 67 km vest for Vejle. Den genslyngede å og dens omgivelser danner en grøn kile gennem byen. Selve ådalen ligger kun 2 m.o.h. og er dermed udsat for oversvømmelser ved stormflod og ved stor nedbør, men det meste af bebyggelsen ligger lidt højere på morænelandet. Nord for åen ligger indfaldsvejene i et vifteformet mønster, der peger ind mod den gamle åpassage, som byen er vokset op omkring. To af disse indfaldsveje leder over åen: Storegade passerer det ældste brosted, og Torvegade er forlænget med en bro. De mødes syd for åen nær Varde Station.
Den ældste bydel er anlagt nord for åen. Torvet med den store købstadskirke Sankt Jacobi Kirke ligger 200 m fra åen i udkanten af midtbyen. Gadenettet mellem Nørrevold og Østervold opstod i middelalderen, men husene er hovedsagelig opført efter en brand i 1821. Området rummer gågader, detailhandel, service- og kulturtilbud og afløses mod øst af Arnbjergparken, et grønt område på kanten af ådalen. Helt nede ved åen ligger det gamle Varde Sommerland, hvis 12 ha store område er omdannet til offentligt udflugts- og aktivitetsområde. Jernbanen adskiller de to grønne områder, men en sti med to broer passerer hhv. banen og åen. Sidebanen fra 1903 mod Oksbøl forlader det nordgående hovedspor og løber i en bue nord om den daværende by. På denne strækning, nær Vesterport, findes Varde Vest Station.
På buens yderside findes store parcelhuskvarterer og flere bebyggelser med almene etageboliger. Denne bydel rummer også institutioner, herunder rådhuset fra 2015 og et erhvervskvarter, og den betjenes af ringvejen Nordre Boulevard, som efterhånden har fået karakter af lokalvej med bl.a. dagligvarehandel. Det er derfor under overvejelse at etablere en ny nordlig omfartsvej, som skal forbindes med Østre Omfartsvej og supplere denne. Sønder Varde er omtrent lige så stor som byen nord for åen. Den består af et stort parcelhusområde, som deles af hovedaksen Søndergade med pladskrævende detailhandel. Varde Kaserne ligger mod sydvest med øvelsesarealer både i og uden for Varde Søndre Plantage. Sydligst, med god trafikforbindelse til Esbjerg, findes et erhvervskvarter.