Svaneke er opstået som fiskerleje, hvor handelsmænd fra hansestæderne kom for at købe sild i senmiddelalderen. Svaneke nævnes første gang i en regnskabsbog fra Königsberg i 1410, og byen havde borgmester og byfoged i 1543. I et kongeligt brev fra 1555 om handel på Bornholm bekræftes byens købstadsstatus.
Ved to pestepidemier i 1618 og 1654 døde hhv. 342 og 386 personer i Svaneke og Ibsker Sogne. I 1750’erne og 1760’erne lå befolkningstallet på 560‑600, og i 1801 var det 663. Herefter oplevede byen en kraftig vækst, og i 1855 var der 973 indbyggere. Ifølge en beretning fra 1765 havde Svaneke da 33 håndværkere (fordelt på 12 fag), ca. 30 fiskere, 9 søfarende, 8 købmænd, 3 kromænd og enkelte embedsmænd, men mange kombinerede flere erhverv, og landbrug var reelt byens vigtigste næringsvej. Den smalle havn blev udvidet i 1816 og forbedret i 1830’erne; dette stimulerede skibsbyggeriet, som varede ved gennem hele 1800-tallet.
Byen fortsatte sin gunstige udvikling i anden halvdel af 1800-tallet, og i 1901 var befolkningstallet 1.304. Ved stormfloden i 1872 blev havnen ødelagt, men takket være indsamling og statslån lykkedes det allerede i 1878 at færdigbygge en ny og større havn, som bl.a. kunne rumme Det Østbornholmske Dampskibsselskabs skib, der gik i rutefart på København. Af hensyn til dampskibstrafikken blev yderhavnen udvidet i 1912. I slutningen af 1800-tallet fik Svaneke flere mindre industrielle anlæg, bl.a. nogle silderøgerier, et savværk og et stenhuggeri, og byen fik nu også ry som et behageligt opholdssted for rentierer, herunder tidligere gårdmænd fra oplandet. Af væsentlige nye bygninger kan nævnes råd-, ting- og arresthuset (1858), den tekniske skole (1890), fire missionshuse m.m. (opført eller indrettet 1893‑1918), idrætshuset (1900), elværket (1909) og sygehuset (1914).
I 1921 nåede Svanekes befolkningstal sit højdepunkt med 1.324 indbyggere. Byen fik aldrig en station; det gjorde derimod bl.a. Østermarie i 1916 med jernbaneforbindelse til bl.a. Rønne, og det var med til at styrke handelslivet i byen på bekostning af Svaneke. Antallet af fiskere begyndte at falde i første halvdel af 1900-tallet, men i 1954 var 123 fiskerfartøjer stadig hjemmehørende i tolddistriktet (inkl. Gudhjem og Christiansø). I 1948 havde byen 70 håndværks- og industrivirksomheder med i alt 199 ansatte.
Ved Kommunalreformen i 1970 var Svaneke en af de få købstæder i Danmark, som ikke blev administrativt center i en ny kommune. Fiskeriet blev stadig mere begrænset; i midten af 1970’erne var der dog endnu ca. 20 fartøjer i byen. Derimod voksede turistsektoren kraftigt, og den skabte efterhånden grundlag for en række forretninger med specialprodukter.
