El Templo Chico fue erigido en 1772, y es el lugar de residencia habitual de la sagrada imagen de la Virgen de Andacollo. Comenzó siendo una pequeña capillita de paredes de barro y techo de coirón.
En 1869 el obispo de entonces José Manuel Orrego decide la construcción de un templo mayor que permitiera una atención más digna y cómoda a la creciente muchedumbre de peregrinos.