A gyergyószentmiklósi egyházközség keletkezésének időpontját adatok hiányában nehéz meghatározni, de valószínűsíthetően már a XIII-XIV. század fordulóján létezett. Az 1332-es pápai tizedjegyzék egy Milkós (Nicolaus) nevű pap nevét jegyezte fel, azonban az akkori templom és a település nem a mai helyén, hanem a Both vára környékén lehetett.
A jelenlegi templom elődje a XV. század végén épülhetett gótikus stílusban, ennek alapfalait 1964-ben a Tarisznyás Márton által vezetett ásatás során tárták fel. Az építkezés pontos dátumát a torony alatti ajtókeret román kori szemöldökkövébe utólag bevésett 1498-as évszám jelzi. A középkori templomot 1629-ben kibővítették, 1637-ben cinteremmel egészítették ki. Az 1661-es tatárbetörés alkalmával a templom megrongálódott, de a felújítására csak 1756-ban került sor. A templomnak két előrésze, három bejárata, egy oldalkápolnája, hét oltára és tágas karzata van. A gótikus és barokk elemek sajátosan keverednek benne. A toronyra írt évszámok a háromszori magasítás dátumai. 1995-ben, a torony felújítási munkálatai során a déli oldalfalon napórát tártak fel, ennek latin nyelvű felirata: „Ortus docet bene vivere” („Napkelet, taníts meg helyesen élni”).
A nagytemplom mennyezetig érő magas főoltára teljesen betölti a szentélyt. Az oltáron legfelül Szent Miklós szobra áll, díszes háttérrel, ő a templom védőszentje 1869-ben a torony új bádogburkolatot kap, új padlózat készült és a padokat is kicserélték. Az orgona 1877-ben ajándékként került a templomba. A templomot fal veszi körül, ennek építéséről 1657-ben történik említés először, de később is bővítik. Az út felőli részének középtáján találjuk Nepomuki Szent János kőszobrát. A bejárati kapu valószínűleg egyidős a mai templommal.
1990-től Szent Miklós napi körmenetet tartanak a városban.