Kvitsøy fyr ble bygget i 1829. Den gang var det 18 meter høyt med kullbluss på toppen. I 1859 ble tårnet forhøyet med ytterligere 7 m og utstyrt med oljefyrt fyrbluss samt et linsesystem. Toppen av fyret er nå 45 m over havflaten. I 1938 ble fyret elektrifisert, og i 1969 automatisert. Fyret er fredet.

Vippefyrets historie
Kvitsøy fyr har imidlertid en historie tilbake til år 1700. Da satte Henrich Petersen opp et såkalt vippefyr i Ydstebøhavn. Fyret bestod av en mast som hadde påmontert en tverrvippe. I enden av den var det festet en «ildpanne» som ble fylt med brennende kull og som oppheist hang 6 m over bakken. I 2005 kom en modell av vippefyret på plass ved siden av det det eksisterende fyret, og ble innviet med en flott markering som Kvitsøys tusenårsplass.

En tursti leder opp til fyret fra Ydstebøhavn og går videre ut til havet i vest.