Esbjergs første byplan blev tegnet af landinspektør Friederich Georg Theodor Wilkens, med lige gader, der går vinkelret på hinanden, som i Fredericia, inklusive et lille torv. Tre gange blev gadeplanen udvidet efter denne gridnet-model, især i 1896, hvor Esbjergs Sogneråd sammen med landinspektør Jens Peder Madsen udlagde gader og torve til en by med over 100.000 indbyggere.
I 1922 brød byen med gridprincippet, da stadsingeniør Harald Nonboe lavede en ny plan, som var præget af nyklassicismen med ring- og diagonalgader, rondeller og grønne bælter. Næste byplan, der blev udarbejdet i perioden 1944‑49 af byplanlæggeren og arkitekten Steen Eiler Rasmussen, var præget af modernismens principper med udlæg af funktionelt afgrænsede bydele og stop for udstykninger af havegrunde til fordel for kollektivt byggeri. Byens fortsatte vækst og den fremvoksende bilisme skabte dog behov for andre byplanmodeller, og i årene 1960‑70 vedtoges nye planer med anlæggelse af helt nye bydele (Kvaglund, Gjesing Nord, Sædding mv.) samt anlæggelse af nye veje, parcel- og etagehuskvarterer og grønne områder.
I de første 20 år var Esbjergs bebyggelse præget af lave, enkle huse. Byens ældste hus er forsvundet, men det næstældste hus, Havnegade 63‑65, fra 1869 er bevaret. I 1880’erne kunne antallet af toetagers huse stadig tælles på én hånd. Men med den eksplosive udvikling i 1890’erne blev bybilledet i centrum præget af høje bolig- og forretningsejendomme i to, tre og fire etager. 1890’ernes byarkitektur var præget af den sene historicisme, mest nyrenæssance i rødt murværk med mange detaljer i stuk og cement, kviste og hjørnetårne. Blandt de mange ikke-akademiske arkitekter, der arbejdede i byen, var C.H. Clausen den førende. C.H. Clausen beherskede alle tidens stilarter og kopierede ofte bygninger fra ind- og udland. Esbjerg Vandtårn (1896‑97) er fx en kopi af Nassauer Haus i Nürnberg; bygningen på Torvet 18 er en kopi af et privatpalæ i Siena fra 1400-tallet, Østergade 4 (1898) er en tro kopi af Palazzo Medicii Firenze, og det tidligere missionshus Bethania, Kirkegade 25 (1906), er en kopi af en kirke i København, der igen er kopi af en kirke i Verona osv. Sidst i 1800-tallet tegnede C.H. Clausen en række bygninger i nybarok, bl.a. Esbjerghus, Kongensgade 84‑86 (1907), og Westend, Kongensgade 100‑102 (1911). Desuden byggede han flere villaer i både jugendstil (Kirkegade 49, 1905) og engelsk stil (Nygårdsvej 65, 1908).
Enkelte offentlige bygninger blev tegnet af udefrakommende arkitekter, bl.a. det gamle ting- og arresthus for Skads Herred på Torvet (1892), af Hans Christian Amberg, Esbjerg Banegård (1902‑04) af Heinrich Wenck og Esbjergs gamle toldkammer, Toldbodvej 1 (1896), af Vilhelm Petersen.
Efter 1890’ernes spekulation blev Esbjerg efter år 1900 i høj grad præget af arbejderbevægelsen. I årene 1905‑10 opstod en række byggeforeninger, der opførte små kvarterer af dobbelthuse. Under 1. Verdenskrig begyndte kommunen pga. bolignøden at bygge boliger i form af såkaldte arbejderborge, dvs. store karréer med grønt anlæg i midten, fx Willemoesgade 55‑65 (1919‑20) af Niels Chr. Nielsen. I 1917 stiftedes byens første sociale boligselskab, Arbejdernes Boligforening, der byggede et stort kvarter ved Østergade-Nørrebrogade af fritliggende stokke i 2½ etage med åbne, grønne gårde.
I årene efter 1920 blev Esbjerg præget af nyklassicismen og Bedre Byggeskik- bevægelsen med en lang række bygninger af høj kvalitet – ikke mindst villaer, bygget af byens borgerskab. Den førende arkitekt var Harald Peters, som virkede i Esbjerg fra 1915 til sin død i 1951. Hans fornemme villaer med rødt murværk og røde tegltage var bygget over ret få modeller: en type med gavlkvist over midten og to typer med gavlen mod gaden inspireret af gammel sønderjysk byggeskik. Også omkring Nørvang og Skovkanten opstod et nyklassicistisk kvarter tegnet af J.C.B. Øhlenschlæger og William Nielsen. Samtidig begyndte Esbjerg Kommune at bygge husvilde- og aldersrenteboliger pga. bolignøden efter 1. Verdenskrig.
I begyndelsen af 1930’erne brød modernismen igennem i Esbjerg. Harald Peters begyndte at bygge i funkis, fx villaen Skjoldsgade 78 (1935) og etagehusene Stormgade 22‑24 (1933‑34). Den nystiftede Andels Bolig- og Byggeforeningen af 1932 byggede, med Øhlenschlæger som arkitekt, et nyt kvarter på Grådybet, som er præget af solvendt stokbebyggelse. En interessant gruppe huse er de såkaldte forsøgshuse fra 1933 i Jyllandsgade 151‑159, som blev bygget i avanceret modernistisk funkisstil som led i en bygge- og boligudstilling, igangsat af bl.a. lærer ved Arbejderhøjskolen Arne Sørensen.
Tiden efter 1945 blev, fremmet af den omfattende boligstøttelovgivning, det kollektive byggeris storhedstid, og de første efterkrigsårs mangel på materialer medførte forskellige eksperimenter. Et af dem var købet af finske træhuse, hvoraf der i 1946 blev opført en lille bebyggelse i Østerbyen ved Gammelby Strandvej, planlagt af Steen Eiler Rasmussen. I samme kvarter blev der opført et østrigsk træhus samt en række kommunale parcelhuse af durisol-blokke, som var sten af træbeton udviklet af FDB. Brugen af durisol-blokke blev dog først for alvor sat i system, da den lokale typehusentreprenør Carl Peter Nielsen, kaldet Carl Kulør efter hans og faderens malerforretning, i 1952 lancerede typehuset Prebo i samarbejde med FDB, efterfulgt af Carl Kulørs eget typehus, CP-huset (første udstillingshus på Dortheavej 30) i 1955.
Perioden 1945‑60 blev dog især præget af boligforeningernes murede boligkomplekser. Blandt disse skal Spangsbjergparken (1952‑62) fremhæves. Den ligger ved Spangsbjerg Møllevej og er tegnet af Jens Sottrup- Jensen. Bebyggelsen udnyttede det stigende terræn med kædehuse i dalsænkningen, blokke i midten og højhuse på toppen af bakken. I det hele taget var der her omkring den nordlige del af Stormgade opstået et klassisk velfærdskvarter med offentlig park, Vognsbølparken, påbegyndt i 1910, men nyanlagt 1921‑29), kolonihaver (1932‑42), idrætspark (1926‑29) og efter 2. Verdenskrig Esbjerg Højskole fra 1955, tegnet af Otto Frankild, som erstattede Arbejderhøjskolen – et smukt monument over 1950’ernes funktionelle tradition. Dertil kommer Esbjerg Kollektivhus (1965‑67) af Erik Flagstad Rasmussen: et brutalistisk betonhøjhus med altangange.
Den store del af Esbjergs byggeri i 1960’erne og 1970’erne var dog præget af parcelhusbyggeriet på den ene side og det industrialiserede etagebyggeri på den anden. Esbjerg fik bl.a. sin store del af Sydjyllandsplanen, hvor der fra 1960 og frem skulle bygges 7.500 boliger som rent montagebyggeri i syd- og sønderjyske byer. I Esbjerg kom byggerierne til at ligge dels i Kvaglund, der blev skarpt opdelt i parcelhuse og etagehuse, dels ved Stengårdsvej. Reaktionen mod 1960’ernes planlægning, der medførte omfattende nedrivninger i Esbjergs indre by, kom efter 1976, hvor stiftelsen af Esbjerg Byfond fik sat bygningsbevaringen på dagsordenen. Byens arkitektur fra tiden 1890‑1920, der længe havde været ringeagtet, blev nu i stigende omfang istandsat, og nogle af de bedste eksempler blev bygningsfredet.
