I Algade og Strandgade findes byens ældste huse. Strandgade 2 blev genopført i 1675 som en stiftelse for gamle og syge, og overfor, på Klostertorvet, ligger byens ældste rådhus, opført omkring 1750 og i brug indtil 1848. Algade 3 blev opført omkring 1750 i bindingsværk, men fik i 1834 grundmuret facade og kvist. Gården blev landskendt i slutningen af 1800-tallet som Clasens Hotel, hvor flere kendte forfattere ferierede, og den store, smukke have er bevaret.
Algade 4 er opført i 1822 i empirestil af købmand Jørgen Christopher Schjunk. Algade 12 er byens ældste hus, opført for borgmester og købmand Hans Gram i 1624 som del af en samlet bindingsværksgård, der også omfattede nr. 12B. Huset blev restaureret i 1958 af arkitekt Hans Henrik Engqvist. Algade 14 blev opført som rådhus i 1848 til afløsning af det gamle.
Konsul Ørums Gård, Algade 1, på hjørnet af Søndergade, er opført og ombygget ad flere omgange og har dele, der kan spores tilbage til 1600-tallet, men fik sit nuværende udseende omkring år 1800. Bygningen huser i dag Kystmuseet Sæby. Ikke langt derfra finder man den smukt beliggende vandmølle; den kan føres tilbage til 1600-tallet, men de nuværende bygninger er noget yngre. Baptistkirken, Vestergade 3, er en fornem repræsentant for Bedre Byggeskik-stilen, indviet i 1940 og opført af arkitekt Harald Nielsen. Det gamle Sæby Søbad blev i 1985 erstattet af Sæby Søbad Feriecenter, opført af arkitekt Stephan Kappel for Dansk Folkeferie. Hele anlægget blev renoveret i 2008.
Da Sæbys gamle redningsstation fra 1911 skulle fornys, tegnede byens bygningsinspektør Henrik G. Berthelsen i 1991 en sømærkelignende pyramide med en udkigspost i toppen, der er oplyst om natten. Som led i etableringen af en kulturpark omkring det nye rådhus på Rådhus Allé blev et nyt bibliotek opført i 2003 af Frank Svendsen, Croquis Arkitekter A/S, efterfulgt af musik- og kulturhuset Manegen i 2005 af arkitekterne Jørgen og Lasse Andersen og afsluttet med Sæby Svømmebad og Wellnesscenter i 2007, projekteret af arkitektfirmaet Schmidt Hammer Lassen Architects.
