Før udskiftningerne ca. år 1800 var gårdene som regel samlet i landsbyer. Mange gårde bestod af fire længer samlet omkring en gårdsplads. Bygningerne lå enten adskilt, eller også var avlsbygningerne sammenbygget, mens stuehuset lå frit. Sidstnævnte struktur blev den almindelige senere i 1800-tallet og ses endnu både blandt de gårde, der blev i landsbyen, og dem, der flyttede ud på ejerlavets marker. I dag er der kun få velbevarede landsbyer i kommunen, fx Over Ustrup og Elling.
Den ældre byggeskik i området knytter sig overvejende til den østjyske bindingsværkstradition med rig brug af tømmer. Bindingsværket var taktfast inddelt i fag, løsholt, én overdokke og to underdokker, og man gjorde brug af fodrem. Stuehusene var som regel delt i overstue, dagligstue, opholdsstue og bryggers.
Bindingsværksbygninger (eller dele heraf) er det i dag ikke ualmindeligt at se i kommunen, men særligt fra midten af 1800-tallet blev byggeskikken gradvis afløst af grundmur, oftest i tegl og gerne med murede dekorationer svarende til skiftende tiders arkitektoniske strømninger. Bygningerne blev bredere, og indretningen ændredes. I perioden 1850‑1900 blev kampesten almindelige i avlsbygninger, hvilket fx fremgår af gårde i Elling og proprietærgården Store Borupgård.
Ved stranden nær Elbæk Skov er tidlige eksempler på fritidshuse opført i 1920’erne og 1930’erne.
Flere steder, fx Boller, ses efter Statshusmandsloven fra 1899 og jordlovene fra 1919 store, regulære husmandskolonier med ensartet bebyggelse.
