Στο χωριό Θέρμη και συγκεκριμένα στο ύψωμα Καρυές βρίσκεται το μοναστήρι του Αγίου Ραφαήλ. Στην ίδια θέση υπήρχε γυναικείο βυζαντινό μοναστήρι το οποίο κατέστρεψαν το 1235 Σαρακηνοί πειρατές. Μετά από 150 περίπου χρόνια η μονή ξανακτίστηκε και λειτούργησε ως αντρικό μοναστήρι. Εδώ, κατέφυγαν μετά την άλωση της πόλης το 1453 ο Άγιος Ραφαήλ και ο Άγιος Νικόλαος και έζησαν ειρηνικά για εννέα χρόνια. Οι Τούρκοι εξαπέλυσαν κι εδώ σφαγές κατά των χριστιανών και το 1463 έπιασαν τον ηγούμενο τότε Ραφαήλ, τον διάκονο Νικόλαο και αρκετούς χριστιανούς που είχαν ζητήσει καταφύγιο στο μοναστήρι. Όλοι τους πέθαναν μετά από τα φρικτά βασανιστήρια των Τούρκων, οι οποίοι έκαψαν και το μοναστήρι.
Μετά από αυτό οι κάτοικοι του χωριού έθαψαν τους χριστιανούς που μαρτύρησαν στο μοναστήρι και κάθε χρόνο τιμούσαν τη μνήμη τους, την ημέρα του μαρτυρίου τους. Τότε συνέβαινε κάτι παράξενο. Ένας καλόγερος περιφέρονταν στον τόπο αυτόν και έπειτα χάνονταν μέσα σε μια λάμψη. Η οπτασία αυτή ήταν ο Άγιος Ραφαήλ ο οποίος φανερώθηκε σε αρκετούς πιστούς και τους ομολόγησε το μαρτύριο το δικό του και των υπόλοιπων χριστιανών στο μοναστήρι των Καρυών. Οι έρευνες στα αρχεία του Πατριαρχείου επιβεβαίωσαν τα όσα ανέφερε, ότι δηλαδή μαρτύρησε στις 9 Απριλίου το 1463, την ημέρα που τιμάται η μνήμη του.
Σήμερα το μοναστήρι του Αγίου Ραφαήλ, που ξανακτίστηκε στη θέση του παλαιότερου μοναστηριού που αποτέλεσε και τον τόπο της μαρτυρίας του, αποτελεί πόλο έλξης για χιλιάδες πιστούς απ’ όλο τον κόσμο. Στη μονή λειτουργεί και ξενώνας για τους προσκυνητές.