Indtil Reformationen ejede biskoppen i Roskilde en del gårde i Ballerup, som kronen herefter overtog. I 1779 blev jorden i Ballerup udskiftet, men gårdene forblev hovedsagelig inde i landsbyen. Indbyggerne ernærede sig først og fremmest ved landbrug samt tørveproduktion og til dels skovarbejde.
Frem til midten af 1800-tallet voksede Ballerup, og der lå både gårde og huse i landsbyen. I 1800-tallet havde byen en række svenske sæsonarbejdere, og enkelte bosatte sig fast. Landsbyen blev udvidet i flere retninger, og der opstod derved en række indfaldsveje. Ud over den romanske kirke midt i byen var der præstegård, skole, mølle og kro. De fleste levede af landbrug og industri, men der var også handel.
Jernbanen kom til Ballerup i 1879, og det gav grundlag for hotel med teater- og forsamlingssal, ligesom der blev oprettet telegraf- og telefonstation samt postekspedition. Byen fik mejeri, og i 1880 sørgede menigheden for oprettelsen af Ballerup-Maaløv Asyl. I 1885 åbnede Teknisk Skole, der fik sin egen bygning i 1916. Der blev opført en skole i 1902 og endnu en i 1915.
Efter 1920 skete der et fald i beskæftigelse inden for landbrug, mens flere nu arbejdede med håndværk, handel og industri. Der blev bygget missionshus, menighedshus, grundskole samt mellem- og realskole. Desuden blev der i 1925 oprettet et bibliotek.
I 1949 blev Ballerup station på Stogslinjen, og dette var en væsentlig årsag til en kraftig befolkningsvækst, idet indbyggertallet, der havde ligget på 1.473 i 1921 og 3.925 i 1950, steg til 9.392 i 1960. Skoler blev ombygget flere gange, efterhånden som befolkningstallet steg. I 1956 blev der opført et plejehjem for Statens Sindssygevæsen, og under byggeboomet i 1960’erne med opførelsen af større boligkomplekser blev der endvidere bygget aldersrenteboliger samt Kristinelund Ungdomsgård, plejehjem, politistation og en biograf. Byen udviklede sig først og fremmest mellem Frederikssundsvej og stationen og i området omkring stationen.
I løbet af 1970’erne ebbede landbruget ud, og i 1981 var der blot 39, som arbejdede inden for landbrug eller beslægtede fag. Byen var efterhånden udbygget, og der blev nu satset mere på kvaliteten af bymiljøet. Der blev lagt vægt på, at nye bygningsanlæg passede ind i de eksisterende rammer i bymidten. Samme år blev hovedgaden fra Ballerup Centret til kirken omlagt til gågade. Der blev dog også sikret gode tilkørselsmuligheder til bycenteret, som kom til at spille en væsentlig og mangesidig rolle i byen. Ballerup Super Arena blev indviet i 2001.