Το Κάστρο των Λεπίδων ή Παλαιόκαστρο, που δεσπόζει στην κορυφή του λόφου πάνω από το Ξηρόκαμπο, είναι το παλαιότερο κάστρο που σώζεται στο νησί. Τα τείχη της βορειοανατολικής πλευράς του – σύμφωνα με τους αρχαιολόγους – είναι Κυκλώπεια. Οι πέτρες είναι τετράγωνες και η καθεμία ζυγίζει περίπου 500 κιλά!
Στο εσωτερικό του κάστρου είναι θα δείτε την εκκλησία της Παναγίας η οποία κτίστηκε τον 4ο αιώνα και στο προαύλιό της σώζεται μωσαϊκό εξαιρετικής τέχνης.