Etwa 6 km westlich von Admont erhebt sich am linken Ufer der Enns ein bewaldeter Einzelberg, der auf seiner höchsten Stelle, 130 m über dem Talboden, die weithin sichtbare Pfarr- und Wallfahrtskirche Frauenberg trägt. Der „Kulm-Berg“ war schon früh im Besitz des 1074 gegründeten Benediktinerstiftes Admont. Die Anfänge der Marien-Wallfahrt liegen weitgehend im Dunkel der Geschichte. Eine alte Überlieferung, erst im 17. Jahrhundert schriftlich festgehalten, schildert die Entstehung: Im Frühjahr 1404 trug die Enns, als sie wieder einmal Hochwasser führte, auf ihren Fluten eine holzgeschnitzte Marienstatue mit sich, die sich im Gestrüpp am Fuß des Kulm verfing. Eine Lichterscheinung in der folgenden Nacht, es war der Samstag vor dem zweiten Sonntag nach Ostern, führte zur Auffindung der Statue. Der Abt und die Mitglieder des Konvents von Admont trugen die Statue in die Stiftskirche, doch war sie am nächsten Tag verschwunden und wurde wiederum am Fuß des Kulm gefunden. Dies wiederholte sich ein zweites und ein drittes Mal, sodass man darin einen Fingerzeig Gottes sah. Abt Hartnid Gleusser von Admont errichtete für die Marienstatue zunächst eine hölzerne Kapelle am Gipfel des Berges Kulm, die sich bald als zu klein erwies und daher durch eine größere Kirche aus Stein ersetzt wurde.
1410 wird die Kirche auf dem Kulm anlässlich der Grundsteinlegung zum gotischen Neubau zum ersten Mal urkundlich erwähnt. 1420 findet sich erstmals die Bezeichnung Unser Frawnperg. 1423 gründete Abt Georg Lueger an der Wallfahrtskirche, deren Chor in diesem Jahr fertiggestellt und geweiht wurde, eine Fronleichnamsbruderschaft. In der ersten Hälfte des 15. Jahrhunderts folgte unter Abt Andreas von Stettheim eine Umgestaltung des Kirchenbaues und am 5. August 1447 eine Neuweihe durch den Bischof von Lavant, Theobald Schweinpeck, wobei auch das Patrozinium festgelegt wurde: Mariä Opferung (Darstellung Mariens im Tempel, Gedenktag 21. November). Als Baumeister des ersten gotischen Baus ist der leitende Baumeister der Admonter Bauhütte, Niklas Velbacher, genannt. Im Zuge der Marienverehrung begann bald der Zustrom der Pilger, woraufhin auch von Wundergeschehen berichtet wurde. Bereits im frühen 16. Jahrhundert wird die Pfarre Frauenberg urkundlich belegt. Sie wird seither ununterbrochen von Admonter Benediktinern betreut.
Die Wiederbelebung der Wallfahrtskirche Frauenberg in der Gegenreformation ging mit umfassenden Baumaßnahmen einher. So wurden ein neuer Hochaltar (1648) von Christoph Paumgartner (heute das Gehäuse des Hochaltars) und ein Pfarrhaus errichtet (die Fenster des Baues von 1640 sind im Wallfahrtsladen freigelegt worden). Nach 1682 wurde das Langhaus barock erweitert, das Pfarrhaus deutlich vergrößert und ein Turm errichtet. Unter den Äbten Urban Weber und Adalbert Heuffler von Rasen und Hohenbühel erhielt der Wallfahrtsort weitgehend seine heutige Gestalt. Am 2. Juli 1687 erfolgte die Weihe des umgestalteten Kirchengebäudes. Der schlossartige Pfarrhof erhielt in dieser Zeit die heute noch bestehende Gestalt: Im Inneren finden sich prachtvoll ausgestattete Räume, die zum Teil dem Pfarrer (Superior) als Wohnung dienen.
Abt Antonius II. von Mainersberg ließ die beiden Osttürme erbauen, 1719 ein neues Geläut anschaffen und 1724 die große Pilgerherberge (das heutige Caritas-Pflegeheim) errichten. Stiftsbildhauer Josef Stammel schuf 1740 einen neuen Gnadenaltar. Die größte Blütezeit erlebte der Wallfahrtsort im 18. Jahrhundert, als bis zu 60.000 Pilger jährlich gezählt wurden.
Im Josephinismus musste die Wallfahrtskirche nicht wie viele andere geschlossen werden, da sie auch als Pfarrkirche diente. 1865 wohnten einige Mitglieder des Admonter Konvents vorübergehend im Pfarrhaus, da das Stift bei einer Feuerkatastrophe stark in Mitleidenschaft gezogen und unbewohnbar geworden war. Während der Zeit des Nationalsozialismus wurde die Wallfahrt aufgehoben. Eine Gruppe des Stabs Rosenberg hegte den Plan, den Pfarrhof als Quartier zu beziehen.
Nach Kriegsende fanden wieder Wallfahrten auf den Frauenberg statt. Unter dem Admonter Abt Bonifaz Zölß wurde die Kirche restauriert. 1968 wurde der Pfarrhof zu einem Bildungshaus umgestaltet, das 1996 wegen Baumängeln geschlossen werden musste. Der Pfarrhof wurde daraufhin unter Abt Benedikt Schlömicher nach historischen Aspekten aufwändig zurückgebaut. Im Parterre wurden ein Wallfahrtsladen und das Pfarrsekretariat errichtet.
Vom Jänner 2013 bis Dezember 2014 wurde die Kirche im Auftrag des Abts des Benediktinerstifts Admont, während der Amtszeit von P. Winfried Schwab, im Inneren aufwändig restauriert. Der Gesamtetat betrug 3 Millionen Euro. Unter anderem wurde auch ein Bodensonareingesetzt, das ein zwar bekanntes, aber nicht genau verortetes Priestergrab vor der Kanzel zu Tage brachte. Neben Altären, Fresken und Kirchenbänken wurde auch die Barockorgel einer Restaurierung unterzogen. Die Wiedereröffnung der Kirche wurde am 7. Dezember 2014 durch den Bischof der Diözese Graz-Seckau, Egon Kapellari gefeiert.
Im September 2015 begann die Amtszeit des gegenwärtigen Superiors und Pfarrers von Frauenberg, P. Maximilian Schiefermüller. Die Pfarre Frauenberg bildet nun mit Ardning und der Pfarre Hall bei Admont einen Pfarrverband. 2016, im Heiligen Jahr der Barmherzigkeit, wurde in Frauenberg eine Heilige Pforte geöffnet und das bestehende, fünfstimmige Geläute durch drei Glocken erweitert. Holzschlägerungsarbeiten um die Kirche wurden durchgeführt, im „Fürbittgarten“ eine neue Marienkapelle errichtet und einige Räumlichkeiten im barocken Pfarrhof saniert. Von April bis Oktober 2018 wurde die Kirche einer gründlichen Außenrenovierung unterzogen und dabei die barocke, cremefarbene Fassade wieder hergestellt. Den Abschluss der Arbeiten bildete die Weihe der „Linzerglocke“ durch den Abt von Admont.
Bei einem Erdbeben am 20. Jänner 2021 der Magnitude 4,5 mit dem Epizentrum in direkter Nähe der Kirche kam es zu Schäden am Pfarrhof; Fenster gingen zu Bruch und einige Deckenmalereien bekamen Risse.
2021 wurde der Innenraum der Kirche durch einen neuen Zelebrationsaltar und ein Ambo bereichert. Diese ersetzten die bisherigen Provisorien. Beide Objekte stammen von Steinmetzmeister Gerhard Fraundorfer, dem Hüttenmeister des Linzer Mariendomes. Es wurde schwarzer, spanischer Kalkstein verwendet, der sich harmonisch in den Innenraum einfügt und in der Gestaltung die Formen des Raumes aufgreift. Abt Gerhard Hafner hat am 21. November 2021 Altar und Ambo gesegnet.