I 1600-tallet blev langhuse almindelige i Assens, og i Østergade 36 ses den fornemme Willemoesgaarden med svungne knægte og overgangsfod med udskåret løvværk samt porthammer med indskrift og året »1675«, som Willemoesgaarden oprindelig er fra og derved en af Assens’ ældste bygninger.
Bygningen blev fredet i 1918 og har siden 1955 været museum, i dag under Museum Vestfyn. Navnet stammer fra søhelten Peter Willemoes, hvis slægt overtog gården i 1700-tallet. En facaderestaurering udført 1957-58 afslørede, at gården havde være rødkalket ved opførelsen i 1600-tallet, og den fik derfor samme røde farve.
Willemoesgaarden er Peter Willemoes’ fødested. Kommunen stillede i 1955 bygningen til rådighed for Assens og Omegns Museumsforening (etableret i 1952 og i dag kaldet Vestfyns Museumsforening), som kunne åbne en mindestue for Willemoes i 1959. Museet har i dag en fast udstilling om Willemoes samt særudstillinger.