Σε απόσταση 35 χλμ. νοτιοανατολικά της πόλης συναντάμε το Καστέλι. Η περιοχή χρωστά το όνομά της στο κάστρο που είχαν κτίσει οι Ενετοί, το οποίο όμως δεν σώζεται.
Το Καστέλι κατοικείται από τα αρχαία χρόνια. Μάλιστα κοντά στον σημερινό οικισμό βρίσκονται τα ερείπια της αρχαίας πόλης Λύττος. Πρόκειται για μια σημαντική πόλη, την οποία ίδρυσαν οι Λακεδαιμόνιοι και κυριαρχούσε στην ανατολική Κρήτη. Καταστράφηκε όμως από την αντίπαλό της Κνωσό. Αργότερα, την ρωμαϊκή εποχή, το Καστέλι επανέκτησε την δύναμή του.
Σήμερα, το Καστέλι διακρίνεται για την πλούσια παραγωγή του σε αγροτικά προϊόντα. Τα εύφορα εδάφη της περιοχής είναι κατάφυτα από αμπέλια και ελιές.