Tirsbæk ligger på nordsiden af Vejle Fjord øst for Vejle i et dalstrøg med skov mod øst og vest. Den trefløjede hovedbygning ligger på et voldsted omgivet af vand og flankeret af have og avlsgård. Tirsbæk var fra begyndelsen af 1400-tallet ejet af slægten Dyre, og i begyndelsen af 1500-tallet hørte ejeren Ove Lunge til de betydeligste jyske adelsmænd og ledende støtter af Christian 3., der gennemførte Reformationen i 1536. Hovedbygningen, der rummer træk fra både middelalder og renæssance, er opført etapevis i 1500-tallets første halvdel og afsluttet i 1577 og afspejler familiens ambitioner. Anlægget er åbent mod syd, mens det ældre borganlæg, som det er opført over, formentlig har været lukket af en fjerde længe. Der er portgennemkørsel over voldgraven via et rigt dekoreret tårnfremspring i nordfløjen. I 1742 blev Niels de Linde af den rige de Linde-slægt fra Holstebro ejer af Tirsbæk. Han fornyede hovedbygningen samt ladegården mod nord, der blev ombygget efter barokkens idealer og fik det symmetriske, ordnede udtryk, som anlægget i hovedtræk stadig har. Fra slutningen af 1700-tallet var Tirsbæks historie præget af hyppige ejerskifter, indtil Frode Busky Neergaard, der var svigersøn til H.N. Andersen, stifter af Det Østasiatiske Kompagni A/S (ØK), i 1912 købte herregården. Efterkommeren Hans Henrik Algreen-Ussing ejer i dag gården og driver både land- og skovbrug samt publikums- og firmaarrangementer.
Haven til Tirsbæk har renæssancetræk, selv om den daværende ejer, Niels de Linde, skabte haven ca. 1745. Den blev bl.a. omgivet af en ca. 800 m lang og 2,5 m høj kampestensmur, og endnu i dag er hovedbygning og have forbundet med en hovedakse, der fører op til havens højeste punkt, hvorfra der er en storslået udsigt over Vejle Fjord. I havens nordvestlige hjørne anlagdes et vinbjerg med fire terrasser, mens grænserne for de tre haverum – prydhave, frugthave og dyrehave – markeredes af alléer og hække. I Erik Pontoppidans Den Danske Atlas fra 1768 beskrives haveanlægget således: »Haven er prægtig med anseelige Terrasser, hvis Høide af en Bakke er høiere end Gaarden, rundt omkring ligger Skoven, samt en Allee derfra og til Havet«. Haven blev renoveret 2008‑10 med en synliggørelse af den oprindelige renæssancehaves træk udført af Kirsten Lund-Andersens Tegnestue og landskabsarkitekt Marie-Louise Wanscher. Frugthaven blev genskabt med ca. 300 æbletræer og vinbjerget renoveret. En ny lindeallé afgrænser frugthave fra dyrehave. Hovedaksen slutter i dyrehaven 45 m over havet med et point de vue (udsigtsplads), og en moderne trappe i cortenstål flankeret af søjleeg leder hertil.
