Karups gamle bymidte nær jernbanestationen udviser beskedenhed med bygninger holdt i en enkelt etage. Alene gæstgiveriet, det senere Hotel Karup i Østergade, var i to etager. I nyere tid har bygningsmassen især bredt sig langs Primærrute 12 og som parcelhuskvarterer mod Viborgvej. En nænsom renovering af kvarteret ved det gamle stationsområde giver et indtryk af byens oprindelige udtryk. Biblioteket har til huse i jernbanestationen, som har fået et par mindre tilbygninger.
I middelalderen var det spiret på valfartskirken Vor Frue i Karup, der var de vejfarendes kendemærke og byens vartegn. Et lynnedslag ødelagde i 1714 tårnet, og kirken er siden reduceret i størrelse. I dag er det i stedet kartoffelmelsfabrikkens kæmpemæssige siloer, der træder frem i det flade hedelandskab.
Sydvest for Karup ved flyvepladsen opstod Kølvrå i 1950’erne efter en samlet byplan af Eivind Nielsen Løhren. Alle vejene fik kurver, og for at undgå ulykker er der ingen vejkryds, kun T-kryds. Alle forretningerne blev samlet omkring et torv.
