Skærbæk opstod som landsby i middelalderen, hvor den med sin placering ned til Kolding Fjord og Lillebælt blev til et fiskerleje. Fiskerlejerne havde ofte en tilfældig byggestruktur med små fiskerhuse. Tæt på vandet var der små magasinhuse og stejlepladser samt en ophalingsplads til bådene.
I Lillebælt var der gode muligheder for fiskeri, og Skærbæk var omkring år 1900 blevet til et centrum for Lillebæltsfiskeriet. Kystfiskeriet gav gode muligheder for det lille samfund i Skærbæk, der i 1930 havde 405 indbyggere. I løbet af 1800-tallet var bådene dog efterhånden blevet så store, at det blev svært at fiske direkte fra kysten. Derfor blev der 1919‑20 anlagt en fiskerihavn i Skærbæk med en dybde på 2,8 m og en bolværkslængde på 300 m. Herudover blev der samtidig opført et havnefyr. I 1920’erne fandtes der i Skærbæk desuden skole, købmandshandel og bådebyggeri.
De forbedrede havneforhold ved Skærbæk tillod selv store fartøjer at sejle tæt på kysten. Dette havde stor betydning, da man anlagde Skærbækværket i årene 1946‑51; elværket fik sin egen havn, og Skærbæk udviklede sig til at være mere end et fiskerleje. I 1990 var befolkningstallet nået op på 1.418 og lå i 2006 på 1.849.
