Lerbæk ligger ved Grejsdal i det bakkede landskab mellem Vejle og Jelling omgivet af mark og skov med en stor have mod øst. Lerbæk kendes fra 1434 og var længe ejet af slægten Brockenhuus, der opførte et firfløjet renæssanceanlæg på stedet, men dog måtte afstå gården i 1664 pga. gæld. Lerbæks efterfølgende historie er kendetegnet af hyppige ejerskifter med bl.a. kronen som ejer i årene 1730‑43. Under Jens Mogensen Nellemand blev Lerbæk i 1793 ombygget, hvilket gav gården sin nuværende trefløjede form i én etage.
Jens Mogensen Nellemand solgte store dele af fæstegodset og i år 1800 også selve Lerbæk. I 1803, under senere ejere, var stort set alt fæstegods allerede solgt fra. I 1874 købte Georg Sass herregården og gennemførte en omfattende ombygning 1890‑91, der har givet den det nuværende historicistiske præg. De to sidefløje blev afkortet, murværket cementpudset, og gavlene udsmykket med cementbånd. Georg Sass døde i 1924. Herefter overtog nevøen Anders Dinesen Lerbæk, som blev i Dinesenslægtens eje indtil 2005. I dag ejes Lerbæk af Birgit Bech Pilegaard og drives som land- og skovbrug.
