Stedet blev oprindelig omtalt som Frederiksberg Huse, fordi husene var få og små, men efterhånden kom der gang i en egentlig bydannelse syd for jernbanen, der blev ført gennem området i 1856. Det drejede sig om boliger, forretninger, værksteder, industri, skole og missionshus. Sorø Folkehøjskole (1888) på arealet nord for banen blev i 1927 ungdomsskole, men ellers udviklede stedet sig til et udpræget villakvarter. I 1912 fik Sorø Stolefabrik dog også nye bygninger lige nord for jernbanen. Desuden har Frederiksberg haft to savværker og to trævarefabrikker, og dertil kom mange håndværksvirksomheder og butikker. Endog en biograf kunne de lokale nyde godt af fra 1940.
Den voldsomme udvikling i parcelhusbyggeriet gav øget pres på skolevæsenet i 1960’erne. Planer om en ny, tidssvarende skole med sportshal og idrætsplads, der kunne rumme eleverne fra de tre eksisterende skoler i Lynge Sognekommune, blev fremskyndet af det daværende sogneråd i Lynge ved udsigten til sammenlægning med Sorø Kommune i 1970. Byggeriet blev gjort etapevis og varede otte år. Den gamle Frederiksberg Skoles bygninger blev siden revet ned, og en ny skole tegnet af tegnestuen RUM blev indviet i 2017; den nye bygning er opført med bærende mure i beton med skærmfacader i aluminium og signalfarvede karnapper i grønt og rødt. Indbyggertallet i 1976 lå på 2.716, og dette var i 2006 steget til 3.241.
