Το Κάστρο των Ιωαννίνων είναι χτισμένο στη δυτική όχθη της λίμνης Παμβώτιδας. Ιδρύθηκε αρχικά γύρω στα 1.100-900 π.Χ., ενώ οργανώθηκε πολεοδομικά προς το τέλος του 5ου-αρχές του 4ου αι. π.Χ. και φαίνεται πως αποτελούσε μία από τις τέσσερις τειχισμένες πόλεις της Μολοσσίας που κατέστρεψαν οι Ρωμαίοι το 167 π.Χ.
Τον 11ο αι. μ.Χ. ο Νορμανδός Βοημούνδος κατέλαβε την πόλη και επισκεύασε τα τείχη της, ενώ στις αρχές του 13ου ο Μιχαήλ Α΄ Κομνηνός Δούκας, πρώτος ηγεμόνας του Δεσποτάτου της Ηπείρου, προέβη σε εκτεταμένες εργασίες ανοικοδόμησης. Από τις αλλαγές αυτές αλλά και τις προσθήκες ή βελτιώσεις του 14ου αι. διατηρείται σήμερα ένα μεγάλο μέρος, όπως σημαντικό τμήμα των βυζαντινών τειχών με τις δύο ακροπόλεις, καθώς και πύργοι.
Η σημερινή μορφή του κάστρου είναι αποτέλεσμα των εκτεταμένων εργασιών που έγιναν στις αρχές του 19ου αι. από τον Αλή πασά. Η οθωμανική οχύρωση ενσωμάτωσε σε πολλά σημεία τα βυζαντινά τείχη. Η ΒΑ ακρόπολη έγινε θρησκευτικό κέντρο, ενώ η ΝΑ ακρόπολη (Ιτς Καλέ) επεκτάθηκε για να ενσωματώσει αποτελεσματικά το συγκρότημα του Σεραγιού του Αλή πασά, του οποίου σώζονται ερείπια, και αποτελεί αυτοτελές φρούριο και έσχατο καταφύγιο των υπερασπιστών της πόλης.
Εντός του κάστρου και στον περιβάλλοντα χώρο της ΒΑ ακρόπολης σημαντικά κτίρια είναι το λεγόμενο Σουφαρί Σεράι, ένα διώροφο οικοδόμημα που στέγαζε τη Σχολή Ιππικού του Αλή πασά, η Βιβλιοθήκης που ενεδεχομένως συνδεόταν με τη λειτουργία του Μεντρεσέ, κι ένα ερειπωμένο λουτρό (Χαμάμ) των αρχών του 17ου αι. Στο κάστρο βρίσκεται επίσης η Εβραϊκή Συναγωγή, που, στη σημερινή της μορφή χρονολογείται στα 1829.