Norddjurs Kommunes 16 voldsteder og borge ligger meget jævnt fordelt med et voldsted i stort set hvert sogn. Der synes således at være en tæt tilknytning mellem de adelige jordbesiddelser og voldstedernes placering, hvorimod landskab og terræn spillede en sekundær rolle. Kun på den nordlige Rougsø-landtunge og omkring Grenaa, hvor sognene er forholdsvis små, er der ikke registreret voldsteder. I sidstnævnte tilfælde har det formentlig rod i, at kongemagten tidligt havde sat sig på Grenaa og dens umiddelbare opland.
I kommunen ligger en række herregårde, heraf fem renæssanceanlæg, der alle gennemgik senere ændringer.