Rytterskolen i Hvidovre stammer fra 1722 og er blandt de første af de i alt 240 rytterskoler, som Frederik 4. lod opføre i landets 12 rytterdistrikter. Rytterskolen i Hvidovre blev bygget tæt ved kirken, og de to bygninger er de ældste, som er bevarede i Hvidovre. Rytterskolerne blev anlagt efter en fast model, men de er ofte blevet udvidet. Rytterskolen i Hvidovre blev ombygget i hhv. 1740 og 1856.
Arkitekten og keramikeren Carl Petersen boede i rytterskolen i Hvidovre i årene 1904‑07. Her installerede han en keramisk ovn og eksperimenterede med brændingsteknikker. Billedhuggerne Johanne og H.P. Pedersen-Dan boede på Hvidovre Rytterskole i årene 1912‑36. Siden flyttede kritiker og forfatter Bertel Budtz Müller ind i Hvidovre Rytterskole med sin kone, skuespiller Frida Budtz Müller. Foran rytterskolen blev der i 2005 opstillet en bronzeafstøbning af skulpturen En moder (1903) af H.P. Pedersen-Dan.
