El origen de la Hermandad está en el culto a una cruz arbórea en la plaza de Caño Quebrado, al lado de la de los Carros, colocada en memoria de los difuntos por la peste de 1649. En 1663, se sustituye por una cruz de forja que figura actualmente en el altar de la Virgen. La actual cofradía se fundó en 1847 en San Juan de la Palma. En 1851 se trasladó a residir en San Buenaventura.