Selv om Lemvig har eksisteret siden middelalderen, er de ældste endnu eksisterende huse fra begyndelsen af 1800-tallet. Bygningen Torvet 2 er opført som rådhus i 1822 efter tegninger af C.F. Hansen. Den er senere ombygget, men har bevaret sin taktfaste facade med enkle dekorationer og er et eksempel på en afdæmpet historicisme. På Østergade 10 ligger det tidligere Råd,- Ting- og Arresthus fra 1877 opført af J.B. Løffler og inspireret af italiensk renæssance. På hjørnet af Torvet og Vasen ligger Vasegården, tegnet af en lokal arkitekt, Kr.P. Dalgaard, og opført i 1935. Den blev byens første store etageejendom og det første funkisbyggeri. Torvet er ellers præget af toetages bygninger fra begyndelsen af 1900-tallet.
Fra byens hovedgade, Vestergade, går der smalle slipper ned til havnen, som er byens andet centrum. På Havnegade 14 blev 1920‑21 Lemvig Gl. Toldkammer opført, tegnet af Vilhelm Petersen. Den nyklassicistiske bygning udmærker sig med en enkel og symmetrisk opbygning og afdæmpet dekoration.
Lemvig Havn undergår i disse år store forandringer.
Forhuset på Lemvig Museum, Vestergade 44, er en af de få fredede bygninger i kommunen. Det er opført i 1841 som pakhus til en købmandsgård, som dengang lå ved siden af. Det er en enetages grundmuret bygning, der står hvidkalket med sorttjæret sokkel, rødt tegltag og gavlkvist. I Vestergade 46 ligger en repræsentativ villa bygget af Orla Buhl i 1906. I huset kom mange politikere, kunstnere og forfattere, fx Thøger Larsen. Museet for Religiøs Kunst er etableret i 1994. Her lå tidligere Lemvig Pavillon, som ca. 1880‑1988 var byens forlystelsesetablissement.
I begyndelsen af 1900-tallet valgte nogle af byens velstående borgere at bygge på udsigtspunkter i byens bakker. Et eksempel er Vidskue, Østerbjerg 1A, opført i 1910 af Mads Sørensen. I den østlige del af byen ligger også teglværksvillaen Teglgård, Teglgårdsbakken 17, som i folkemunde kaldes Slottet. Den er opført i 1908 af Lemvig Teglværks ejer, Chresten Villemoes, og ombygget i 1976.
