Η Άσσος υπήρξε πρωτεύουσα της βόρειας Κεφαλονιάς για πολλά χρόνια και από το 1593 αποτελούσε και την έδρα του Ενετού άρχοντα της περιοχής. τότε άρχισε και η κατασκευή του φρουρίου της Άσσος. Οι Ενετοί ήθελαν να ιδρύσουν μια ισχυρή καστροπολιτεία με μόνιμο πληθυσμό. Η αποπεράτωση του έργου έγινε με γρήγορους ρυθμούς, γεγονός που αποδεικνύει και τη σημαντική του στρατηγική σημασία.
Το φρούριο έχασε την στρατηγική του σημασία όταν η Λευκάδα πέρασε στην κυριαρχία των Ενετών, το 1684. Η διοίκησή του όμως παρέμεινε στον Ενετό άρχοντα μέχρι το 1797 όπου καταλύθηκε η Ενετική κατοχή.
Σήμερα, το ερειπωμένο κάστρο δε θυμίζει και πολλά από την παλιά του αίγλη. Ο επισκέπτης του φρουρίου μπορεί να δει τα τείχη του κάστρου μήκους 2000 μέτρων και την κατοικία του Ενετού Προβλεπτή. Επίσης, σώζονται τμήματα από τους στρατώνες και η εκκλησία του Αγίου Μάρκου. Εντυπωσιακή είναι και η θολωτή είσοδος του κάστρου που σώζεται σε αρκετά καλή κατάσταση.