A szárhegyi Lázár család egyik őse Rómából hazatérve, álombeli látomásra hivatkozva kápolnát építtetett a Szármány-hegyen. Az a Lázár Miklós lehetett, aki 1494-ben búcsúengedélyt szerzett a plébániatemplomnak. Lázár István 1642-ben a ferencesekre bízta a kápolnát, és P. Kolozsvári Bertalant kérte meg a kolostor megszervezésére, azonban 1646-ban a pestis elragadta őket. 1664-től, Apafi tilalma ellenére újra visszajöttek. 1665. január 5-én Lázár István végleg letelepítette a ferenceseket, akik azonnal hozzáfogtak az építkezéshez. 1675-ben a sekrestyét és a templom melletti folyósót toldják a templomhoz majd 1690-re kiépítik a zárda keleti szárnyát és tornyot is emelnek.
1707-ben Acton labanc ezredes, a gyergyói kurucok ellenállását megbosszúlva, megostromolja és felégeti a Lázár-kastélyt és a zárdát. A falu védői közül a plébánia cintermében, mintegy 150 embert legyilkoltat, akiknek csontjai a plébánia templom tornyával átellenben pihennek. 1709-ben a zárda tűzvész martalékává vált. 1749-ben, a tűzvész pusztítása után építették a ma is álló kolostortemplomot. Itt temették el Kájoni János, Losteiner Leonárd, P. Lukács Mansuét nagy ferences személyiségeket. 1752-ben fejezik be a zárdát és a kolostortemplomot, mely alkalommal a templomhoz építi a déli oldalon levő Mária-kápolnát. Oltárait Wassermann Henrik, tiroli származású ferences testvér, az "ács-fráter" készítette el 1759-60 között, régebbi részek felhasználásával. 1872. május 22-én a templom és a zárda leég, majdnem az egész faluval együtt, a harangok megolvadtak és a zárda teljes felszerelése odaveszik. Az újabb javításokat P. Venczel Adorján végzi el, majd 1900 után a templom berendezését fokozatosan kicserélik, különösen a gyergyószentmiklósi Vákár család adományaiból. 1908. októberében és 1940 őszén földrengés rongálja meg a zárda északi részét. Kijavították.
A faluból 1700-tól 1948-ig 42 ferences került ki. A zárdában fennállása óta 800 ferences barát lakott folytatólagosan és 51 ferences holtteste pihen itt. A kolostor temploma egyben búcsújáró hely is, kegytemplom, különösen a kilenc keddi ájtatosságok idején. A templom Nagyboldogasszony tiszteletére van szentelve, búcsúja augusztus 15-én van.
1974 óta a kolostor egyik szárnyában működik egy művésztábor, amelynek alkotásait mostanig a Lázár-kastélyban helyezték el. A kolostor keretein belül működik a Kájoni János Gyermekotthon, a dévai Szent Ferenc Alapítvány egyik központja.