Η «Παναγιά η κρυφτή» είναι αναμφίβολα από τα ξωκλήσια που ξεχωρίζουν στη Λέσβο.Και αυτό γιατί πέρα της θρησκευτικής αξίας είναι και ένα μοναδικό γεωλογικό μνημείο με τις θερμές πηγές που αναβλύζουν από τα θαλασσινά νερά. Έχει δε χαρακτηριστεί και Γεώτοπος στο Γεωπάρκο της Λέσβου.

Η «Παναγιά η κρυφτή» βρίσκεται δυτικά της Μελίντας σε ένα μέρος επιβλητικό καθώς τα απότομα βράχια κρύβουν διακριτικά την εικόνα της Παναγιάς που βρήκε καταφύγιο στην σχισμή του βράχου. Το ξωκλήσι είναι είναι κρυμμένο εξ ολοκλήρου στην ευρύχωρη σπηλιά ενός βράχου.

Η Mυρσίνη Βαρτή-Ματαράγκα πρόεδρος του πολιτιστικού Συλλόγου «Το Πόλιον» Πλωμαρίου εξηγεί στην κάμερα του «Ν» την ιστορία της περιοχής καθώς και την επικρατούσα άποψη για πως βρέθηκε η εικόνα της Παναγιάς στο βράχο.Σύμφωνα με αυτή, εκεί κρύφθηκε μία κοπέλα με το παιδί της, κυνηγημένη από τους Τούρκους με άλογα. Γι’ αυτό και στο πανηγύρι συνηθίζουν να κατεβαίνουν με άλογα οι κάτοικοι του Παλαιοχωρίου. Η κοπέλα σώθηκε και έταξε στην Παναγιά τη σπηλιά αυτή να την κάνει εκκλησία. Επίσης, σύμφωνα με μαρτυρίες, πολλοί Έλληνες της Μικράς Ασίας βγήκαν στην περιοχή αυτή με τις βάρκες τους μετά την καταστροφή, και την έχουν ως προστάτιδά τους.