Vordingborg var i middelalderen en vigtig kongelig fæstning, og i lange perioder derefter var der stationeret faste styrker i byen. Efter en afbrydelse fra 1866 til 1913 blev Vordingborg atter garnisonsby, da Hærens 5. regiment flyttedes til byen, og kort efter opførtes den nuværende kaserne i byens nordlige del. De originale bygninger i røde mursten er overvejende tegnet af Alf. Jørgensen og Henning Hansen. Anlægget er siden blevet væsentligt udbygget, bl.a. i 1950’erne, dog fortsat med røde mursten som dominerende materiale.
I 00’erne gennemførtes en omfattende modernisering af bygningsmassen, og i begyndelsen af 2020’erne fremtræder beboelsesområder, sports- og undervisningsfaciliteter samt garager, værksteder og depoter alle moderniserede og tidssvarende.
Vordingborg Kaserne har gennem mange år været stedet, hvorfra støtten til Forsvarets FN-indsatser udgik, og i dag bistås danske styrkebidrag i udlandet gennem Trænregimentets 4. Nationale Støttebataljon. Derudover har også Hjemmeværnskommandoen domicil på kasernen. Kasernen er med ca. 440 ansatte (2020) en af de største offentlige arbejdspladser på det sydlige Sjælland og har derudover også værnepligtige, som uddannes af støttebataljonen.
