En 1759 el Consejo de Castilla se hizo cargo de ciertos conflictos que asolaban la villa de Madridejos, la cual pertenecía al priorato de San Juan. Las desavenencias se personalizaron en tres individuos: el abogado Ramón de Medina Osorio, el escribano Manuel Martín Salcedo y don Manuel María Crespo, natural y residente de dicha villa. Los cargos contra los dos primeros referían los excesos que cometían en el desempeño de sus oficios, en perjuicio de los intereses de los vecinos y en beneficio de sus personas y haciendas. Por su parte, don Manuel María Crespo se vio a sí mismo como una víctima de tales disensiones y, sobre todo, de los manejos de aquellos parciales a Salcedo. El juez encargado de la causa, Francisco de Solera, recopiló diversos testimonios de vecinos y miembros reputados de aquella comunidad para tratar de desentrañar las culpas y, sobre todo, las motivaciones de esos actos. En su dictamen al Consejo de Castilla ponderó los males que para la convivencia vecinal representaban los tres individuos señalados y recomendaba su destierro y apartamiento de la villa. Sin embargo, no se engañaba respecto a los verdaderos problemas de Madridejos y, si bien la actuación de los acusados era constitutiva de delito en sí misma, consideraba que era un reflejo de las banderías y parcialidades que recorrían la villa. Por ello recomendó la elección de un alcalde mayor neutral que pusiese fin a esas disensiones salvando el potencial económico y social de la población. Don Manuel María Crespo se mostró incrédulo ante la decisión del Consejo y apeló para lograr el indulto. Aseguraba que había sido víctima de una conspiración y que él no había contribuido a las disensiones de Madridejos; al contrario, sólo seguía las órdenes de ciertos miembros del cabildo en la causa que estos habían interpuesto al escribano Salcedo. En este punto, aportó varias misivas que justificaban este argumento y que eran prueba de las diligencias hechas por su mano en Madrid contra Salcedo. Por otro lado, argüía que el destierro dejaba en una situación precaria a sus hermanas solteras (Vicenta y Ana Rosa) así como a un hijo de corta edad que debía criar en su condición de viudo. A pesar de las alegaciones del propio Crespo y de sus hermanas, el Consejo se mostró inflexible al respecto y decretó su destierro a Ceuta. En esta decisión no pesaba tanto el asunto de Salcedo como la vida descontrolada que había llevado en Madridejos. Se le acusaba de tratos ilícitos con mujeres del pueblo (de hecho, también se decretó el destierro del boticario, su mujer y su hija a causa de ello), de no aplicarse al trabajo y dedicarse al juego de naipes, así como de haber dado mala vida a sus dos mujeres, Bárbara Dupont y Josefa Lasa. De hecho, a instancia de los padres de éstas había cumplido ya una pena de destierro en Orán. Las andanzas de Crespo no se detuvieron aquí. Una vez que se trasladó a Ceuta en 1761 contrajo matrimonio con Josefa Tejada, a quien abandonó unos años más tarde para volver a Madridejos. En 1774 el Consejo le ordenó regresar a la ciudad norteafricana para reunirse con su mujer e hijo y, a la altura de 1778, andaba solicitando el regreso a su villa natal, que se resistía a admitir de nuevo al antiguo vecino.