I 1905 rettede en kreds af borgere henvendelse til Odenses Borgerrepræsentation, som dernæst i april 1905 købte det gule hjørnehus på Hans Jensens Stræde, hvor digteren efter al sandsynlighed blev født; i dag er det et internationalt ikon. Huset, der var på i alt 72 m2, og hvor der havde boet op til fem familier, blev renoveret af Vilhelm Petersen og åbnede i 1908 som H.C. Andersens Hus med en samling af genstande, papirklip, breve og manuskripter, som i dag er omfattende.
I 1930 knæsattes husets betydning yderligere, da det blev bygget sammen med et større hus til udstillinger og en mindehal i klassisk stil, tegnet af Niels Jacobsen. Niels Larsen Stevns skildrede i fresker i mindehallens kuppelsal Andersens livsrejse, fra han forlader Odense i 1819 til jubelfesten med fakkeloptog ved æresborgerfejringen.
I løbet af 1920’erne og 1930’erne blev det omgivende Sortebrødrekvarter imidlertid stadig mere præget af prostitution, druk, plattenslageri og elendige forhold. Og her lå altså det hus, byen ønskede at gøre til centrum for turisme! Det gav voldsomme klager og stærke diskussioner i byrådet, så fra slutningen af 1950’erne påbegyndtes sanering med omfattende nedrivninger. Det skete samtidig med forberedelsen af det gadegennembrud, som fra 1970 førte den firsporede Thomas B. Thriges Gade lukt igennem området. Det medførte, at hidtidige beboere blev fortrængt, mens repræsentanter for en ny middelklasse flyttede ind. Den lille pige med svovlstikkerne var fra nu af en historie i kvarteret.
Fødehjem og kuppelsal står der stadig, men den store bygning blev revet ned i 1976 og erstattet af en mere tidssvarende museumsbygning. Den blev tegnet af Ebbe Lehn Petersen, der også bidrog til bydelsrenoveringen, hvor mere end 80 huse blev revet ned og »genopført« med historiske facader, så området genopstod som 1800-talskulisse. Nogle gader fik nye navne ved den lejlighed. Det med navneskifte var sket før i kvarteret, således skiftede Nygade navn i 1903. Gaden havde været hjemsted for offentlig prostitution og havde fået det folkelige navn »Fygade«. Det var efter ny lovgivning slut nu, så beboerne ville gerne have et smukkere navn til deres gade. Den fik således i 1903 navnet Rosengade. Det mørke Sortebrødrekvarter skiftede navn til H.C. Andersen-kvarteret, hvor turister kunne beundre en historisk bydel fra digterens tid. Aviser skrev i 1965 om en særlig H.C. Andersen-by, der var forbeholdt museum og boliger og uden biltrafik. I 2003 fik museet ny indgang og modtagelse med glasparti i tidens stil. Nu var huset og museet for alvor centrum i en bydel med små gader med toppede brosten, sådan som myten om Hans Christian måtte se ud. Indenfor kom faste og skiftende udstillinger publikum i møde som et personmuseum, der skildrer liv, tid og værk.
H.C. Andersens Hus er hovedmuseet, men 500 m fra H.C. Andersenkvarteret, i Munkemøllestræde, ligger et hus, hvis autenticitet og faktiske betydning i H.C. Andersens liv er mere veldokumenteret end det gule hjørnehus. Dette hus blev overdraget til Odense Kommune i 1931 og er i dag et besøgssted, der også forvaltes af Odense Bys Museer, og hvor hjemmets sparsomme bohave og faderens værktøj er skildret. Her boede den lille skomagerfamilie fra og med 1807. Det er det hus, Andersen voksede op i og derfor selv erindrede og beskriver. Enkefru Bunkeflod, som han læste Bibelen og Holberg for, boede overfor. Strædet førte ned til vandmøllen og åen, hvor denne drøm, skildret i Mit Livs Eventyr (1855), opstod: »Jeg havde hørt (…) at Keiserriget China laae lige her under Odense-Aa, og nu ansaa jeg det for slet ikke umuligt, at en maaneklar Aften, som jeg der sad, kunde en chinesisk Prinds grave sig igjennem Jorden op til os«. Andersen var sikker på, at den kinesiske prins ville gøre ham rig og berømt.