La chiesa di Sant’Antonio sorge nella parte occidentale del paese, in un luogo boschivo molto suggestivo, alla sommità dell’abitato, ricca di scorci panoramici. Di antica costruzione, forse intorno al X-XI secolo, anticamente aveva la funzione di dormitorio, un rifugio per viandanti gestito dal priore e da alcuni abitanti del paese. In seguito ne venne ripristinata esclusivamente la funzione di luogo di culto.
Dell’agosto 1724 è una Bolla vescovile relativa all’oratorio di Vergemoli (recentemente restaurato), dedicato a S. Antonio da Padova, che fu aperto al culto con la benedizione rituale del parroco Don Camillo Freudiani. L’oratorio era assoggettato ad una serie di vincoli posti a favore della Chiesa dei SS. Quirico e Giulitta, ad esempio: la messa doveva essere celebrata principalmente nella chiesa parrocchiale ed eventualmente nell’oratorio; i sacramenti non venivano amministrati nell’oratorio, senza il permesso del parroco e in caso di controversie, prevalevano le ragioni della Parrocchia. La situazione di Vergemoli e degli altri comuni sotto il governo estense si svolse senza grossi cambiamenti fino all’invasione napoleonica, quando la Garfagnana fu annessa, con l’ex Ducato di Modena nel 1797, alla Repubblica Cisalpina e poi al Regno italico. Durante tale periodo furono promulgate le leggi di soppressione religiosa, che tra il giugno e l’agosto del 1798, così come accadde in tutti i territori conquistati da Napoleone, portarono alla chiusura, anche in Garfagnana, di oltre cento istituzioni religiose