Stationsbygningen er inspireret af de vestjyske herregårde med røde sten, mansardtag og valmede gavle. Den udgør toppunktet i en trekant bestående af Banegårdsvej, Borgergade og Jernbanegade, der er den gamle stationsbys kerne.
Efter nedlæggelse af privatbanerne Vandelbanen i 1957 og Troldhedebanen i 1968 betjente Grindsted Station kun den sidste af privatbanerne, Varde-Grindsted, som dog lukkede året efter.