Særligt to fredede bindingsværksgårde minder om byens rige handelsliv: Peder Reedtz’ Gård, Algade 2 fra ca. år 1600, som nu huser Bymuseet under Museum Vestsjælland, og Vestergade 10 fra ca. 1670. Begge er i to stokværk og rødkalkede, men hvor begge huse har udkragede førstesale på knægte, har Reedtz’ Gård tillige udskårne fyldholter, tagskægsknægte og profilremme.
Den gulmalede Skælskør Dampmølle fra 1853 er tre etager høj med hvide kordongesimser og rundbuede støbejernsvinduer med spidsbuede sprosser. Den har et rødt, halvvalmet tegltag med taskekviste. Bygningen er fredet.
Rutebilstationen fra 1891‑92, tegnet af N.P.C. Holsøe som jernbanestation, er en simpel enetages bygning i ni fag i røde maskinsten, med skifertag og med en central gennemgående gavlkvist på tværs af stationens saddeltag. Gavlene har blændinger. Mod den tidligere sporside ses et perrontag monteret på støbejernskonsoller.
Fra historicismen er det tidligere råd-, ting- og arresthus på Gammeltorv fra 1896 af F.C.C. Hansen. Samme arkitekt stod i 1894 også for den toetagers epidemibygning i røde maskinsten og med skifertag på Sorøvej.
Bedre Byggeskik-perioden er repræsenteret i den tidligere hovedbygning til Skælskør Sygehus, nu Rådmandscentret fra 1916‑17 af Johannes Strøm Tejsen, i en etage i gule, håndstrøgne mursten, med helvalmet, rødt tegltag og med hvidmalede vinduer med tværsprosser.
Lidt uden for byen er modernismen repræsenteret ved den tidligere Skælskør Folkehøjskole, opført 1972‑73, tegnet af Fællestegnestuen med Tyge Arnfred og Viggo Møller-Jensen i spidsen. Det innovative anlæg består af flere fløje, primært i to etager, som med sin aftrappede tagprofil føjer sig ind i det bakkede landskab. Højskolen lukkede i 2005 og står og forfalder.
