Στο λόφο Απιτύκι (ή Πιτύκι) και σε ύψος 200 μ. περίπου από τη θάλασσα, στο κέντρο σχεδόν του νησιού της Λέρου, υψώνεται το Μεσαιωνικό Κάστρο της Παναγίας, το οποίο πήρε το όνομά του από το ναό της Θεοτόκου όπου είναι αποθησαυρισμένο το «Ιερό Παλλάδιο των Λερίων», η εικόνα της Παναγίας Οδηγήτριας που με θαυμαστό τρόπο έφθασε στο νησί της Λέρου την εποχή της Εικονομαχίας. Σε χρυσόβουλο του Αλεξίου Κομνηνού το Κάστρο απαντάται με την ονομασία Κάστρο Παντελίου και είναι εδρασμένο σε θεμέλια Αρχαίας Ακρόπολης, στη σημερινή του δε μορφή το διαμόρφωσαν οι Ιππότες του Αγ. Ιωάννου μετά τους Βυζαντινούς του κτήτορες.

Ο ναός της Παναγίας είναι κτίσμα του 11ου μ.Χ. αιώνα, το χρυσοποίκιλτο τέμπλο είναι του 1745 μ.Χ. καθώς και ο Δεσποτικός θρόνος και ο Άμβωνας. Στο χώρο του Κάστρου υπάρχει ακόμη ο ναός της Αγίας Τριάδας με σπαράγματα τοιχογραφιών του 9ου μ.Χ. αιώνα, του Αγίου Νικολάου και ένας μεσαιωνικός ναός που πρόσφατα αφιερώθηκε στον Άγνωστο Χριστιανό Μάρτυρα.

Η θαυματουργή εικόνα της Παναγίας, ντυμένη με ασήμι και φέρουσα την χρονολογία 728 μ.Χ., πιθανολογείται ότι ήταν έργο του Ευαγγελιστή Λουκά.

Στο Κάστρο ο Λέριος μοναχός Δαμασκηνός λειτούργησε σχολή από το 1726 μ.Χ., ανυψώνοντας την παιδεία του νησιού, η οποία έπαυσε να λειτουργεί στα μέσα του 19ου μ.Χ. αιώνα.

Το Κάστρο του Παντελίου είναι το σημαντικότερο μεσαιωνικό μνημείο της Λέρου, το οποίο σύμφωνα με μια παράδοση, τον καιρό των εικονομάχων τον 9ου μ.Χ. αιώνα εθεάθη έξωθεν της Λέρου μικρά κιβωτός και εν μέσω δύο λαμπάδων τοποθετημένων ήτο εικόνισμα της Παναγίας.