Fue en esta etapa cuando se dio a la Cofradía el sobrenombre de Hermandad de los Panaderos por la presencia de al menos doce hornos en la collación de San Lorenzo y el ingreso en la corporación de artesanos y comerciantes dedicados al oficio del pan. Uno de los hornos existentes en el barrio, situado frente al convento de monjas de Santa María de Gracia, perteneció al hermano mayor José Salmoral, mientras que fue dueño de otro de ellos el tesorero Antonio Millán Remesal, ubicado en la esquina de la calle Trueque.
En 1873 comenzó un largo período de ocaso y letargo que quedó limitado, por tradición y costumbre, a la participación de Jesús del Calvario en la procesión oficial del Santo Entierro. Destaca la convocatoria del hermano mayor al gremio de panaderos para acompañar a la imagen de Jesús del Calvario en la popular procesión del Viernes Santo de 1874.
En los últimos lustros de la centuria decimonónica la imagen de Jesús del Calvario procesionó al margen del desfile oficial del Viernes Santo. Así, en 1891 y 1892 se organizó una procesión independiente desde la iglesia de San Francisco con las imágenes de Nuestro Padre Jesús de la Oración en el Huerto, Señor Amarrado a la Columna, Nuestro Padre Jesús del Calvario de la iglesia de San Lorenzo y Nuestra Señora del Mayor Dolor del hospital de Jesús Nazareno, actual María Santísima Nazarena. Asimismo, en 1899 la imagen de Jesús del Calvario salió junto a la de Nuestra Señora de las Angustias en una procesión independiente solicitada por su hermano mayor al obispo de la diócesis José Pozuelo y Herrero.
La popular efigie de Jesús del Calvario permaneció sin salir durante los primeros años del siglo XX. En 1908 volvió a incorporarse a la procesión del Santo Entierro, cuya participación se mantuvo con regularidad, con la única salvedad de la procesión oficial de 1910, hasta la reorganización de la Cofradía una década más tarde.
