Quelques années après, le Père Félix Martin, recteur du collège en 1862, acheta aux consorts Le Rohellec la ferme de Penboc’h (15 hectares) et entreprit la construction de la chapelle St Joseph qui fut bénite en 1864. Celle-ci fut dessinée par un médecin, le docteur Herr, ancien chirurgien de l’armée pontificale. Les plans primitifs furent légèrement modifiés pour que l’église fut plus visible du Golfe. Cette chapelle devait devenir un lieu de pèlerinage pour les marins qui y déposèrent le 19 mars 1866 en ex-voto, un bateau sur l’autel. À noter dans cette chapelle de beaux vitraux issus de l’atelier du Carmel du Mans.
Faire un don