I Hjerm med kirke fra middelalderen levede folk i anden halvdel af 1800-tallet især af landbrug og fiskeri. Med åbningen af jernbanen mellem Holstebro og Struer i 1866 fik Hjerm station. Der blev opført et eksportslagteri i 1885 og et andelsmejeri i 1886; derudover var der købmandshandel og gæstgiveri. Skolevæsenet blev udbygget i årene 1900‑10, og i 1904 blev der også bygget en ny kirke, Hjerm Østre Kirke.
Hjerm fik andelsvandværk i 1922, og året efter blev der opført et missionshus. Kroen brændte i 1926, men blev genopbygget. Forsamlingshuset blev opført i 1929, og mejeriet nyopført i 1931. Efter 1950 skete der en udbygning af byen med bl.a. alderdomshjem og udvidelse af forsamlingshuset. Hjerm Møbelfabrik åbnede i 1953, men lukkede igen i 1978. Hjerm Maskinfabrik blev grundlagt i 1961.
I årtierne efter 1970 blev Hjerm udbygget, og der var da særlig vægt på lav og åben bebyggelse. Befolkningstallet steg fra 647 i 1970 til 1.141 i 2006. I 2007 var hele byarealet udbygget, og det blev derfor besluttet at udvide med et areal øst for Højgårdsparken.
