Det var HUSETs kunstnere, der i 1980 tog initiativ til at danne en fast samling af kunst i Odsherred fra 1900-tallet, og i en årrække blev der afsat 2 % af HUSETs omsætning til formålet. Herfra udvikledes planerne til Odsherreds Kunstmuseum, der blev oprettet i 1994. I 2004 blev Odsherreds Kunstmuseum udvidet med Malergården i Plejerup, og 2012 indgik kunstmuseet i Museum Vestsjælland. Kunstmuseet har til huse i HVIDE HUS i Asnæs, der består af en fabrikantvilla fra 1918 og et tilbygget plejehjem, opført i 1940 af Bedre Byggeskik-arkitekten Marius Pedersen.
Kunstmuseets primære formål er at vise kunstnergruppen Odsherredsmalernes kunst fra perioden 1930‑70, men der vises også kunst i Odsherred fra tidligere og efterfølgende perioder, ikke mindst værker af kredsen omkring kunstnerfamilien Trier i Vallekilde. Der er årligt en til to særudstillinger, som uddyber kendskabet til den figurative kunst og til kunsten i Odsherred Kommune.
