Det karakteristiske ved den fredede Skanderborg Gl. Præstegård er, at det er en bybygning. De oprindelige tre længer er revet ned, så den i dag passer ind i bybilledet.
Den bygningsfredede præstegård er fra 1740 og opført af provst Chr. Jensen Høgh som et trelænget anlæg med indkørselsport. Den indgår i et fornemt, helstøbt bybillede omkring Adelgade sammen med den statelige, klassicistiske amtsgård fra 1804, dommerkontoret og det i historicistisk stil ombyggede rådhus fra 1860 (ombygget 1920). Præstegårdens facade, der er opført af kraftigt bindingsværk, blev i 1853 skalmuret med gule Flensborgsten. I 1921 undergik gårdsiden samme behandling, ligesom beboelsen blev moderniseret, og fløjene sløjfet. Præstegården fremtræder med gennemgående kvist over midten og blank, kvaderfuget gulstensmur op til den trukne gesims under vinduernes faste takt. Midt på facaden sidder byvåbenet over en oprindelig byggetavle med from indskrift