La chapelle est construite sur un site occupé par des hommes dès l’antiquité (découverte de poteries gallo-romaines à proximité). On peut supposer que ce lieu abritait alors un ancien site païen: un cours d’eau passe à cet endroit comme dans beaucoup de sites druidiques. L’étymologie de Penhors viendrait du breton « pen » qui signifie tête ou extrémité et « hors » qui signifie roseau, en référence à la zone marécageuse qui entourait le site.

Le début de sa construction date de la fin du 13^ème siècle si on se réfère aux inscriptions retrouvées à Languidou qui datent de la même époque. Emblématique de l’école de Pont Croix, la chapelle était initialement de forme rectangulaire puis a été remaniée à différentes périodes, notamment au 16^ème siècle pour en arriver à son état actuel avec deux chapelles latérales formant un faux transept. C’est également à cette période qu’on trouve trace du rattachement de la chapelle au prieuré de Locmaria à Quimper.

C’est aussi une chapelle de marins qui servait d’amer sur une côte dangereuse et peu balisée qui été le témoin de nombreux naufrages. Les corps rejetés par la mer étaient enterrés dans le cimetière qui entourait la chapelle jusqu’au 19^ème siècle.  Ainsi le 18 janvier 1720 deux marins de « L’Annonciade » de Marseille furent inhumés dans ce cimetière, plusieurs marins de la « Veine de Nantes » le 13 mars 1734 et un marin du « Diamant de Nantes » le 3 décembre 1763. Le dernier enterrement eut lieu en 1870.

Enfin la chapelle a été vendue comme bien national à la révolution et achetée pour la commune par un certain Le Vigouroux le 4 juin 1795. Elle est devenue propriété communale dès la fin de la période révolutionnaire le 29 août 1804.

Classée monument historique en 1963, elle a été sauvée de la ruine une première fois par une souscription lancée par M. Oscar Thomas en 1970.