Kalaja e Janninës është ndërtuar në bregun perëndimor të liqenit të Pamvotis. U themelua fillimisht rreth 1100-900 p.Kr., ndërsa urbanizimi u organizua në fund të shekullit të 5të – fillim të shekullit të 4-rtë p.Kr. dhe duket se përbën një nga katër qytetët e fortifikuara e Molossëve, i cili u shkatërrua nga Romakët në 167 p. Kr.
Në shekullin e 11-të AD Norman Bohemund pushtoi qytetin dhe riparoi murët e tij, ndërsa në fillim të shekullit të 13të Mihail A‘ Komnenos Dukas, sundimtari i parë i Despotatit të Epirit, bëri punë të gjerë e rindërtimit. Që këto ndryshime dhe shtesa apo përmirësime të shekullit të 14-të mbetet edhe sot më shumë, si pjesë e rëndësishme e mureve bizantine me dy qytezët dhe kullat.
Forma e sotme e kalasë është rezultat i punës së gjerë së kryer në fillim të shekullit të 19-të nga Ali Pasha. Fortifikimi osmane inkorporoi në shumë vende muret bizantine. Qyteza verilindore u bë një qendër fetare, ndërsa qyteza juglindore (Iç Kale) u zgjerua për të integruar në mënyrë efektive kompleksë të Sarajit të Ali Pasha, rrënojat e të cilit ruhen, dhe është një kala e pavarur dhe shtrehimi i fundit i mbrojtëseve të qytetit.
Brenda kështjellës dhe përreth pjesës verilindore së qytezës, ndërtesa të rëndësishme janë: i ashtuquajtur Sufari Saraj, një ndërtesë dy-katëshe që shtrehoi Shkollën kalorësinë e Ali Pasha, Biblioteka që, mundesisht, lidhet me funksionimin e Medresesë dhe një hamam i shkatërruar i fillimit të shekullit të 17të. Brenda kalasë është, gjithashtu, Sinagoga e Judenjve, e cila, në formën e saj e sotme, datohet në 1829.