Mange bevarede bindingsværkshuse vidner endnu om byens rigdom i renæssancen. Det ældste lag af huse fra ca. 1575-1600 er gavlhuse i to etager med kraftigt tømmer, knægte og stolpeskæl ved mødet mellem over- og underetage i familie med tilsvarende huse i Kolding, Middelfart og Haderslev. Et af de ældste er Madam Bundsens Hus på Korsgade 11, hvor skråstivere og stolper i anden etage er prydet med halvrosetter, som det også kendes fra Odense og Ribe (ca. 1575, restaureret 1953).
Maaløes Gård er et gavlhus med portfløj langs gaden, og her ses på de to synlige bindingsværksfag gotisk snitværk og indskriften »All Skel« (al retfærdighed) fra ca. 1815.
Byens ældste murede privatbygning er Brydes Gård, Østergade 42 fra 1777, med rokokofacade opdelt af pilastre fra sokkel til gesims. Fra samme tid stammer det tidligere rådhus på Østergade 9 fra 1781, som efter i mange år at have haft facade i nyrenæssance (fra 1891) fik sin gamle facade igen i 2004. I øvrigt præges byen især af rækker af klassicistiske huse fra årene 1830-64, bl.a. i Damgade 28 fra 1842. De fleste huse er pudsede med enkle dekorationer, andre har partier i gule flensborgsten som lignende huse i Haderslev og Middelfart. Ved havnen ligger både det gamle toldkammer fra ca. 1834, tegnet af N.S. Nebelong, hvis sidehus kom til i 1854, og det fredede kogehus fra 1824. Den lille stenbygning anvendtes af søfolk til kogning af tjære til bl.a. tovværk samt til madlavning, når deres skibe lå for anker. Grundet brandfaren var åben ild forbudt i havneområdet og ombord på skibene.
Med industrialiseringen fik byen nye elementer. Ved gadegennembruddet Willemoesgade fra Torvet til havnen opførtes et par ejendomme i op til fire etager. Rækker af mindre huse i murermester-historicisme ses i Nygade-Baronvej, mens der omkring år 1900 byggedes villaer på bl.a. Møllevej i schweizerstil (2-4 og 5-7) eller nybarok (nr. 8). Blandt de offentlige bygninger skal især fremhæves banegården af N.P. Holsøe (1884), den forhenværende Tekniske Skole i Nygade 4 (1889-90), Håndværker- og Industriforeningens friboliger på Møllevej 20 (1893) samt det tidligere De Gamles Hjem i Østergade 89 (1922) af H.C. Holm i Bedre Byggeskik.
I nyere tid har udviklingen været mere beskeden. En scene for det borgerlige fællesliv ses i form af Skovanlægget syd for Kærum Å (1827 ff.) med den bevarede skovpavillon fra 1885. Fra tiden efter 1945 er der et interessant kvarter ved Dankwart Dreyers Vej med toetagers blokke og treetagers parkbebyggelse, et kvarter med elementhuse ved Kildensmindevej-Kløvervænget samt statslånshuse ved Mariendalsvej. Af ny arkitektur bør nævnes rådhusbygningen fra 2003 opført som en firlænget gård i røde sten med partier af glas eller indrykkede nicher. Bygningen, som er tegnet af CREO Arkitekter i 2003, rummer nu forskelligt erhverv.
Arkitektonisk udmærker Assens sig dog især ved sine mange bevarede og ofte fint genbrugte handels- og industrimiljøer. Ved Østergade ligger flere købmandsgårde med bevarede gårdmiljøer (fx Østergade 33). Den store Plums Gård, som har været i familien Plums eje siden 1876, rummer bygninger fra forskellig tid, inkl. nye boliger af CREO Arkitekter opført 2016-20. Det store tømmerpakhus fra 1915 er landets største træbygning og blev fredet i 2003; det er opført i mange etager med mansardtag, kviste og et lille tårn og er malet i gult og rødt. Den forhenværende Assens Tobaksfabrik (1864 ff.) og J. Ernsts Sølvvarefabrik blev begge udviklet som baggårds industri og er siden blevet genbrugt som hhv. Kulturhuset Tobaksgaarden og museet ERNST under Museum Vestfyn.
Bryggerit Vestfyen, Fåborgvej 4, fungerer fortsat i de gamle bygninger fra 1885, men har også en ny administrationsbygning (AI Arkitekter & Ingeniør, 2018). Det største genbrugsprojekt er den fornemme og spændende indretning af den fhv. Assens Sukkerfabriks store bygninger fra 1884 til nyt rådhus af Årstiderne Arkitekter og Gråbrødre Arkitekter i perioden 2006-11, samtidig med at den nærliggende saftstation blev ombygget til idrætscenteret Arena Assens af TKT Arkitekter i 2011.
