Die Erscheinung und der Gesang von Engeln, die ein Goldwäscher gesehen und gehört hat, sprach sich rasch im Volk herum. Dies und verschiedene wunderbare Heilungen verlangten nach einer baulichen Bezeichnung des verehrten Ortes. So wurde die erste Kapelle mit drei Altären errichtet, die im August 1520 geweiht wurde.
Während der Reformationszeit kam das Gnadenbild von Fribach (Kt. Bern) nach Werthenstein. Die Pietà wurde zum Zentrum der neuen Wallfahrt.
Die alte Kapelle vermochte die Pilgerströme bald nicht mehr zu fassen und der Luzerner Rat beschloss 1607 ein neues Gotteshaus zu bauen. Das Gnadenbild bekam einen Ehrenplatz auf dem Kreuzaltar. 1616 weihte der Bischof Johan Jakob Mirgel die Wallfahrtskirche ein.
1631 wurde der Kirchenhügel ausgemessen und Pläne für das Klostergebäude gemacht. Eine Urkunde belegt, dass das Kloster am 5. Mai 1636 an die Franziskaner übergeben wurde.
Am 5. Februar 1826 stürzte das Tuffsteingewölbe des Langhauses der Kirche ein. Nur 12 Jahre später hob die Luzerner Regierung das Kloster auf, nachdem sie schon 1798 die Aufnahme von Novizen verboten hatte. Sie versteigerte das Mobiliar und benutzte das Kloster kurze Zeit als Taubstummenanstalt. Die Wallfahrtskirche wurde als Pfarrkirche benützt und über die nächsten 100 Jahre wurde die einst reiche Ausstattung des Klosters bis auf wenige Resten in alle Winde zerstreut.
Ab 1909 dienten die Klosterwirtschaft und die sog. Arche den Missionaren von der Heiligen Familie. Verschiedene Renovationsarbeiten ab 1953 gaben der Anlage ihr heutiges Aussehen.