Hesselager er en fynsk landsbyperle "som gjorde indtryk, og minder mig om en bulgarisk by," skrev Rejsedigteren Hans Christian Andersen om den østfynske by.
Han gæstede byen under et besøg på statelige men strenge Herreborg Hesselagergård, som han besøgte i l842 og l850, og skriver i dagboge:"Herreborgen Hesselagergård er en ældgammel og underlig kantet gård midt i en udtørret sø. Jeg var sammen med Etatsråd Dons, han fortalte mig, at borgen i gammel tid var ejet af en Johan Friis, der lod sin datter indmurer i en pille fordi hun var blevet gravid med en ansat, pillen var senere blevet revet ned, og man havde fundet menneskeben i den."
Efter rundgangen på herregården beså han også det gamle fængsel på bakken med udsigt over Storebælt.
