Anna og Michael Ancher købte huset på Markvej i 1884, mens de endnu boede i Havehuset. De ældste dele af huset stammer fra før 1801, hvor det første gang er registreret. I 1913 blev huset udvidet efter tegninger af Ulrik Plesner. Huset var 1935-67 lukket for offentligheden, og i 1967 åbnede det som museum. Indtil 2014 blev museet drevet af Helga Anchers Fond, og i 1989 erhvervede fonden nabohuset Saxilds Gaard til brug for skiftende udstillinger.
Anchers Hus fremstår i dag som et kunstnerhjem, og foruden møbler og inventar indeholder huset en større kunstsamling på ca. 250 værker af familien Ancher og andre kunstnere.
