Kjellerup ses i kildematerialet i 1299 som krongods, men tilhørte i senmiddelalderen og renæssancetiden forskellige jyske adelsslægter.
I 1715 blev gården erhvervet af den bondefødte forpagter Jens Andersen Brask. Han genopbyggede Kjellerup og opførte i 1743 et større bindingsværksanlæg. Det blev 1887-88 erstattet af den nuværende hovedbygning, som er opført af murermester Niels Bach. Bygningen består af tre fløje i ét plan med blotlagte røde mure, der hviler på et solidt fundament af tilhugne kampestenskvadre og afsluttes af et teglhængt sadeltag. Det velgennemførte nygotiske anlæg fremhæves via de kurvehanksbuede vinduesindfatninger og især de blændingsprydede trappegavle. Til hovedfløjen hører et indgangsparti med spidsbuet dør og trappegavl. Hovedfløjen favnes af et massivt, trefløjet avlsgårdsanlæg i svære kampesten, ligeledes opført i anden halvdel af 1800-tallet.
Siden 1931 har Kjellerup tilhørt familien Neergaard-Petersen.
