Η εκκλησία της Παναγιάς στον οικισμό Παναγιά είναι βυζαντινή και είναι η αρχαιότερη εκκλησία του νησιού, χτισμένη γύρω στο 950 - 1000 μ.Χ.
Η εκκλησία λέγεται και Ξυλοπαναγιά εξαιτίας ενός εθίμου που λάμβανε χώρα κατά τη διάρκεια του εορτασμού της, στο πανηγύρι που γίνεται το Δεκαπενταύγουστο. Σύμφωνα με το έθιμο αυτό όποιος χορέψει πρώτος με την κοπέλα του στη γέρικη ελιά της πλατείας, θα παντρευτεί μέσα στη χρονιά.
Η εκκλησία είναι ρυθμού σταυροειδούς βασιλικής και οι αξιόλογες τοιχογραφίες της χρονολογούνται από τον 14ο και 17ο μ.Χ. αιώνα.
Κατά τη διάρκεια της επανάστασης του 1821 μ.Χ., στην οποία οι Σεριφιώτες συμμετείχαν ενεργά, τα κελιά της χρησιμοποιήθηκαν σαν καταφύγιο προσφύγων από την Πελοπόννησο αλλά και τα γύρω νησιά.
