La ocupación francesa de Córdoba por las tropas napoleónicas el 7 de junio de 1808 provocó un gran saqueo en la parroquia de San Lorenzo causando numerosos destrozos en la documentación, enseres y objetos de culto, y sustrayéndose grandes cantidades de plata tanto del patrimonio del templo como de la propia Hermandad. A pesar de los perjuicios económicos sufridos, la Cofradía logra mantenerse con vida pero inicia un nuevo episodio de decadencia que se extendería a lo largo de la etapa decimonónica con un importante descenso en el número de hermanos provocado por los inestables y convulsos episodios bélicos característicos de esta época de supervivencia, desánimo y desorientación religiosa.

El tradicional Vía Crucis quedó interrumpido con la promulgación en 1820 por el obispo Pedro Antonio de Trevilla del reglamento que redujo los desfiles procesionales a la procesión oficial del Santo Entierro del Viernes Santo, provocando una difícil situación para el conjunto de cofradías de la ciudad, incluida la Vía Sacra, que se vio incapacitada a realizar su procesión anual al Calvario del Marrubial hasta que 1851 consiguió organizar el Domingo de Pasión una procesión independiente a la oficial.

En la década de los sesenta del siglo XIX la imagen de Jesús del Calvario comenzó a sustituir de forma intermitente a la de Jesús Nazareno en la procesión oficial del Santo Entierro, alternándose en un principio en función a las circunstancias internas de cada hermandad.

Fue en esta etapa cuando se dio a la Cofradía el sobrenombre de Hermandad de los Panaderos por la presencia de al menos doce hornos en la collación de San Lorenzo y el ingreso en la corporación de artesanos y comerciantes dedicados al oficio del pan. Uno de los hornos existentes en el barrio, situado frente al convento de monjas de Santa María de Gracia, perteneció al Hermano Mayor José Salmoral, mientras que fue dueño de otro de ellos el tesorero de la Hermandad Antonio Millán Remesal, ubicado en la esquina de la calle Trueque.

En 1873 comenzó un largo período de ocaso y letargo que quedó limitado, por tradición y costumbre, a la participación de Jesús del Calvario en la procesión oficial del Santo Entierro. Destaca la convocatoria del hermano mayor de la Hermandad al gremio de panaderos para acompañar a la imagen de Jesús del Calvario en la popular procesión del Viernes Santo de 1874.

En los últimos lustros de la centuria decimonónica la imagen de Jesús del Calvario procesionó al margen del desfile oficial del Viernes Santo. Así, en 1891 y 1892 se organizó una procesión independiente desde la iglesia de San Francisco con las imágenes de Nuestro Padre Jesús de la Oración en el Huerto, Señor Amarrado a la Columna, Nuestro Padre Jesús del Calvario de la iglesia de San Lorenzo y Nuestra Señora del Mayor Dolor del hospital de Jesús Nazareno, actual María Santísima Nazarena. Asimismo en 1899 la imagen de Jesús del Calvario salió junto a la de Nuestra Señora de las Angustias en una procesión independiente solicitada por su hermano mayor al obispo de la diócesis José Pozuelo y Herrero.

La popular efigie de Jesús del Calvario permaneció sin salir durante los primeros años del siglo XX. En 1908 volvió a incorporarse a la procesión del Santo Entierro, cuya participación se mantuvo con regularidad, con la única salvedad de la procesión oficial de 1910, hasta la reorganización de la Cofradía dos lustros más tarde.