A Börzsöny sűrű erdőkkel borított hegyvidékén Nagy Lajos királyunk 1352-ben alapította a pálos rend kolostorát, mellette a Magyarok Nagyasszonya tiszteletére templomot emeltetett. Az egész település erről a titulusról kapta nevét: Maria nostra, azaz Mi Máriánk, magyarosan Magyarok Nagyasszonya, vagy népiesen, összemosva az ősi pogány istenanyával, Boldogasszony. Az egyetlen magyar alapítású férfi szerzetesrend kolostorának élete hamar felvirágzott, maga a király is szívesen vonult itt el, elmélkedni, imádkozni. Járt itt Mátyás király és felesége, Beatrix királyné is, de a mohácsi csata után a törökök elől az itteni szerzeteseknek is menekülniük kellett. A kolostor a pusztító csapatok áldozatává vált.

Az újjáépítés a török kiűzése után, az 1710-es években kezdődhetett meg, és gróf Széchényi György esztergomi érsek 17 ezer forintnyi hagyatéka tette lehetővé. Rendbe hozták a templom eredeti gótikus szentélyét, elkezdték építeni a barokk hajót és elé a kéttornyos homlokzatot. Az új kolostor alapkövét 1725-ben tették le, rengeteg hívő jelenlétében. Mind a templom, mind a kolostor gazdag belső díszítést és berendezéseket kapott, mivel számos fafaragó és építész is volt a szerzetesek és a laikus testvérek között. II. József sok más rendhez hasonlóan a pálosokat is feloszlatta, az utolsó fehér barát 1786 augusztusában hagyta el az épületet. A kolostor jó ideig üresen állt, ideiglenesen kórházként is működött, majd 1858-ban női fegyházzá alakították. Az 1950-es évektől férfibörtönként működik, a kommunizmus alatt itt tartották fogva az úgynevezett papi szakaszt, azaz a koncepciós perek világi és szerzetespapjait is. A rendszerváltást követően, 1989-ben a rend visszakapta templomát. Az épület azon kevés magyarországi templomaink egyike, amely néhány kisebb változtatással ugyan, de megőrizte a barokk tér eredeti belső egységét. A templom ma is a Nagy Lajos király által elgondolt hivatását teljesíti, s a pálos atyák egyaránt szolgálják a rabokat a börtönkápolnában és a szabadokat a gótikus szentélyben.