L’evento miracoloso della nascita del germoglio d’ulivo sul tronco secco di faggio, convince gli abitanti di Sambusita e Rigosa della veridicità dell’apparizione e a pochi giorni dall’ultima apparizione incominciano a costruire un luogo di culto dedicato alla Visitazione di Maria a Santa Elisabetta. L’edificazione del Santuario è frutto del lavoro e delle elemosine degli abitanti di Rigosa e Sambusita e questo è attestato in un documento del 4 febbraio 1480 dove l’illustrissimo Mons. Ludovico Donato, vescovo di Bergamo scrive: “… Convinta l’incredulità de’ popoli, animati da uno spirito di vera divozione . ed affetto verso la grande Regina del cielo e della terra; e conoscendo che ciò era per essi una grazia singolarissima, non tardarono a dar mano all’opera. Ai 19 dello stesso mese di Luglio dello stesso anno 1413 diedero principio alla fabbrica …” . La Madonna aveva chiesto la costruzione di una cappella. Gli abitanti di Rigosa e Sambusita, che all’inizio ascoltarono increduli il Racconto di Roggiero Grigis, sono andati ben oltre la costruzione di una piccola chiesa. Infatti a partire da quella data, sono ben tre gli edifici costruiti, l’uno sopra l’altro, nell’arco di poco più di un secolo. Per erigere tre luoghi di culto sempre più ampi nell’arco di 150 anni, significa che l’eco dell’evento miracoloso e della devozione a Maria in quel luogo aveva varcato i confini della valle dell’Ambriola e una conferma la troviamo nei verbali della Visita Apostolica dell’Arcivescovo metropolita di Milano. Stando alle note lasciate dal cardinale Carlo Borromeo, in questo Santuario sperduto tra i boschi su una montagna e raggiungibile solo attraverso sentieri impervi, in occasione dell’anniversario dell’apparizione, il 2 luglio, vi convenivano fino a 4000 persone e si celebravano fino a 25 Sante Messe .