Vester Skerninge Præstegård fra 1682 blev opført af præsten Christopher Wieland. Den gule afstolpede bygning er siden blevet ombygget og udvidet i hhv. 1797 og 1843-44. Vester Skerninges velbevarede helhed af bygningsfredet stråtækt bindingsværk med præstegård, kro og gamle gadehuse op til den dominerende hvidkalkede kirke gør landsbygaden til noget særligt. Præstegården er i bindingsværk med tegltag og opført i 1682 og ombygget og restaureret flere gange. Præstegården blev fredet i 1944.
Gennem 1800- og 1900-tallet udfoldedes også et sjældent rigt og alsidigt kulturliv i og omkring Vester Skerninge. Det var folkelige forfattere og poeter som Peder Møller, Mads Hansen (»Jeg véd, hvor der findes en Have saa skjøn«), Anton Nielsen, grundlæggeren af Ollerup Folkehøjskole, apotekeren A.E. Sibbernsen og dennes efterfølger, digteren Mads Nielsen (kendt for frihedssangen »En Lærke letted«, 1945) og endelig musikeren og komponisten Hans Hansen (»Fo’ ajle di smaa Blomster«).
Udover Vester Skerninge Præstegård ligger den fredede Tved Præstegård med en længe fra 1700-tallet og stuehus fra 1910 nord for Svendborg. På Drejø ligger en præstegård fra 1943 tegnet af Ejnar Mindedal Rasmussen.
