De Kellerske Anstalters hovedsæde blev opført 1899‑1901 ved Brejning på sydsiden af Vejle Fjord. Det var pioneren inden for åndssvageforsorgen, lægen Christian Keller, der var drivkraften, og anstalten blev anlagt på tre plateauer. Øverst en afdeling med skolebygninger, nedenfor en asylafdeling for de plejekrævende patienter og nederst ved fjorden en afdeling for de »arbejdsføre«. Arkitekten var Vilhelm Klein, og byggeriet i historicistisk stil fik en vis lighed med renæssancens slotte, inspireret af den italienske og franske renæssance.
Der var plads til 900 patienter, og anstalten fik hurtigt status som et mønstereksempel inden for europæisk åndssvageforsorg. Det store bygningskompleks blev til stadighed udvidet og fik bl.a. eget vaskeri og elektricitetsværk. I 1932, da institutionen husede 1.400 beboere, var der tilføjet en stor forsamlingsbygning med foredrags-, teater- og biografsal. Samme år fratrådte Christian Keller som leder og blev afløst af overlæge Hans Otto Wildenskov.
Socialreformen i 1933 ændrede åndssvageforsorgen på afgørende vis, og staten overtog alle udgifter til kur og pleje. Det forøgede tilgangen af patienter stærkt, og ved 50-årsjubilæet i 1949 var De Kellerske Anstalter vokset til at blive Europas største med 1.700 pladser på selve anstalten, 2.200 i familiepleje og afdelinger på Livø, Sprogø og i Sølund.
For Brejning betød anstalten, at indbyggertallet voksede stærkt, og langt størsteparten arbejdede i de mange institutionsbygninger. I 1959 oprettedes Statens Åndssvageforsorg, og 1960’erne indvarslede nye tider, hvor begrebet åndssvage blev erstattet med evnesvage, og patienter blev til klienter. Statens Åndssvageforsorg blev nedlagt i 1980, og Vejle Amt overtog institutionen i Brejning, der var under afvikling.
Den blev endeligt nedlagt i 1990 og erstattet af seks udviklingscentre. Hele bygningskomplekset er nu omdannet til ejerlejligheder og et wellnesshotel, Comwell Kellers Park, der blev restaureret og udvidet i 2008.
På den tidligere Den Kellerske Anstalt fra 1899 i Brejning er bevaret en foreningsdrevet samling, der både rummer institutionens dystre og mere lyse historier.
