La primera Hermandad del Refugio de la que tenemos noticias se funda en Granada a finales del siglo XVI. A principios del XVII, durante el reinado de los Austrias, se constituye la de Madrid por los Sres. Antequera, Laso de la Vega y Serra.
Desde Madrid, la idea se extiende a otras ciudades, entre ellas Zaragoza, donde en 1642 se reúnen doce vecinos de la ciudad, de los que sólo conocemos los nombres de D. Pedro Fernández de Heredia y Fray Juan Cebrián, celebrando sus primeras actividades en la iglesia de San Andrés.
El 5 de octubre de ese mismo año, el arzobispo de la diócesis, D. Pedro de Apaolaza, aprueba la constitución de la Hermandad, estando como Hermano Mayor el Duque de Lesma. Sus actividades son principalmente: establecer turnos de visitas a enfermos en las diferentes demarcaciones de Zaragoza, pedir limosna una semana en cada parroquia para repartirla después entre los pobres de la misma, organizar por las calles rondas en petición de limosnas y repartir en Pascua cien reales de plata entre los necesitados.
