La Esclavitud de San José tiene su sede Canónica en la Iglesia Mayor Parroquial de San Pedro y San Pablo y de los Desagravios, primer templo de la ciudad, de estilo tardobarroco y neoclásico en su fachada, que comienza a construirse a raíz de un Real Decreto con fecha de 27 de Mayo de 1.757, antes de que la Villa de la Real Isla de León se independizase política y religiosamente del Cádiz dieciochesco. Ese año, sobre planos de Alejandro Perdía, comienzan las obras, terminán-dolas un ingeniero francés. Las obras fueron sufragadas con un arbitrio consistente en dos cuartillos de sisa en la arroba de vino y cuatro en cada cuartillo de aguardiente y mistelas. En 1.760 ya estaba casi lista, siendo ésta la fecha que figura en su fachada.
El 17 de Marzo de 1.764 sería bendecida por el Obispo de Cádiz y Ceuta Fray Tomás del Valle, bajo el título de "San Pedro, San Pedro y de los Desagravios", si bien es cierto que iba a titularse "del Patriarca San José" (de hecho la primera piedra se colocó el día de su festividad), Santo al que la Isla tenía especial devoción, aunque se desechó la idea puesto que se consideró un intento de hacerle Patrón y sustraerse así del Patronazgo de Servando y Germán, que lo eran de Cádiz, y por tanto de la Isla en tanto que aún pertenecía política y religiosamente a esta ciudad, pese a sus intentos independentistas.
