Vordingborgs byplan og struktur hænger tydeligt sammen med Valdemarernes kongeborg. Borgen markerer sig med sit Gåsetårn, der troner over købstaden, og med sit ruinterræn, der danner byens primære grønne rum. Museet Danmarks Borgcenter ligger her med sine bevarede 1700- og 1800-talsbygninger og sin nyopførte museumsbygning fra 2014 af Lundgaard & Tranberg Arkitekter. I ly af den nordlige mur mod Slotstorvet ligger Historisk Botanisk Have, skabt af G.N. Brandt i 1921. Haven blev restaureret i 1995 af landskabsarkitekt Andreas Bruun med buksbomparterre, formklippede hække, krydsbuer, hegn og stengærder samt bede med historisk brugte giftplanter samt farve- og krydderurter.
Stationen fra 1937 tegnet af K.T. Seestmed Banegårdspladsen i vest og borgbanken med Gåsetårnet (opført ca. 1360’erne) og Slotstorvet i øst danner »ankre « for hovedgaden. Det nyligt renoverede Slotstorvet (2013) defineres af ruinterrænets skråning og af købstadens randbebyggelse, hvor især det fredede og nyrestaurerede Kornerups Rådhus, opført 1843‑45 efter tegninger af Peter Kornerup i nygotisk stil, er med til at give torvet karakter. De fleste af Vordingborgs bygninger er fra midten af 1800-tallet og frem, og der findes både fredede og bevaringsværdige huse som fx det lille sprøjtehus på Slotstorvet fra 1854 eller det nyklassicistiske apotek i Algade fra 1826.
Boulevardkvarteret i den nordlige del af byen udmærker sig ved mange velholdte bygninger i Bedre Byggeskik i en særlig homogen udstykningsplan og arkitektur. Her findes Vordingborg Kaserne, Vordingborg Sundhedscenter, Vordingborg Håndværkerstiftelse og Plejecenter Rosenvang fra 1920’erne.
Også Riddergade-/Strandgadekvarteret markerer sig særligt. Ved Nordhavnen for foden af Borgen kan man opleve den gamle gadestruktur med gyder og stejle stigninger, som vidner om byens første bebyggelse ved havnen.
Det gamle amtshospitals bebyggelse på Oringe er opført efter Gottlieb Bindesbølls tegninger fra 1857. Det symmetriske anlæg består af bygninger i varierende højder, der står i gul blank mur med røde tegltage. Zealand Business College Vordingborg er tegnet af Friis & Moltke og opført 1978-80. Bygningerne er kendetegnet ved dekorative kobberbeklædte tagryttere.
