En la cumbre del cerro (390 msnm) que desde el norte domina Montilla estaba situado el castillo. Las excavaciones realizadas en el año 1999 dejaron a la luz la existencia de una fortificación del siglo XIII que corresponde al castillo.
“La primera noticia conocida del castillo de Montilla hace referencia a un recinto fortificado de poca entidad construido entre 1274 y 1333. Esta edificación se correspondería con el primer señorío de Aguilar, otorgado por Alfonso X a Gonzalo Yánez do Vinhal” (Rey García. “El castillo y la vida medieval de Montilla”, 2017).
Sin embargo, no existe casi documentación que nos permita determinar el origen del castillo ni dar una descripción exacta del mismo. El castillo fue restaurado por orden de Gonzalo Fernández de Córdoba, después de que Enrique II le concediese el Señorío de Aguilar. Y quedó convertido en uno de los más importantes de Andalucía y en su lugar de residencia. Ramírez y las Casas-Deza refiriéndose a la fortaleza dice: “El castillo que era magnífico y según el testimonio de varios escritores el más hermoso de toda Andalucía fue edificado por Don Pedro Fernández de Córdoba III Señor del estado de Aguilar en el mismo sitio en que estaba el antiguo que era de poca importancia y había sido reedificado por Don Gonzalo primer Sor. De Aguilar de la Casa de los Córdoba y su hijo Don Alonso. (…), y según las noticias que de él se han conservado tenía 450 pies de largo y 330 de ancho y sus muros estaban fortalecidos de 30 torres entre grandes y pequeñas (…) Tenía un salón que podía contener cuatrocientos caballos y seis u siete salones subterráneos de primorosa arquitectura adornados de mármoles ricamente labrados, los que se distinguían con los nombres de el Dorado, el del Sueño. El del Secreto, el del Registro. Tenía algunas minas entre ellas una que se dirigía desde la torre de la Escuchuela a la Fuente del Pez.” El cronista del Reino de Aragón, Jerónimo Zurita, haciendo referencia a la destrucción de la fortaleza en 1508 por orden de Fernando el Católico, dice:”(…) que era casa grande, y de aposento muy bien labrada, y de las mejores de Andaluzia”.
El castillo era de gran envergadura, con un amplio recinto trapezoidal protegido por murallas reforzadas por torres, (de los Escudos, Homenaje, Dorada, Diana, de la Defensa, Centinela, Troyana, del Sol y Minerva. José Rey García recoge la denominación de las torres del castillo según diferentes cronistas) que incluía una plaza de Armas hoy desvelada por las excavaciones arqueológicas. El castillo sufre diversas transformaciones hasta la edificación de un palacio residencial en 1424. Después de su destrucción en 1508 solo quedaron los cimientos de sus muros, de las torres, restos de la muralla, aljibes, restos de dependencias.
Nicolás Fernández de Córdoba y Jerónima Espínola de la Cerda encargaron al arquitecto Juan Antonio Camacho la construcción de un nuevo granero. Este se levanta en el patio de Armas del antiguo castillo y queda terminado en el año 1723.
El granero recuerda a las basílicas paleocristianas. Tiene dos plantas rectangulares y un subterráneo que posiblemente era donde estaba un aljibe del castillo. La fachada, orientada al este y construida con sillares, presenta una forma triangular dividida en tres cuerpos, de los que por su altura destaca el central cubierto a dos aguas, mientras que las naves laterales tienen cubierta a una sola agua. En el cuerpo central se localiza la puerta de entrada con arco de medio punto, con pilastras, arquitrabe y un frontón triangular partido donde hay una lápida que recuerda a los que encargan la construcción del edificio y lleva la fecha del año 1722. Dos grandes contrafuertes separan el cuerpo central de los laterales. Pasada la puerta, hay un atrio que tiene a la izquierda el llamado “cuarto de fieles” donde se pesaba el grano, se llevaba la contabilidad y se guardaba el dinero y a la derecha el acceso a la planta alta en forma de rampa para que pudieran subir los animales de carga. La nave central y las laterales son de planta rectangular. La nave central, más ancha que las laterales y separada de estas por un potente muro, está cubierta por bóveda de medio cañón con arcos fajones y presenta unas troneras por donde se descargaba el grano desde la planta superior. La nave central va acompañada por dos naves laterales a cada lado, cubiertas con bóvedas de arista que descansan sobre arcos de medio punto soportados por cinco fuertes pilares.
Camacho aprovecha algunos sillares del castillo destruido para los cimientos de los muros del granero que están fortalecidos con nueve torres almenadas, asentadas sobre los cimientos correspondientes a las nueve torres que tenía el patio de Armas del antiguo castillo. Cinco de las torres son de planta rectangular y cuatro de planta cuadrada que se sitúan en las esquinas del edificio, destacándose la Torre del Tesoro y la Torre del Caracol que figuran en las dos esquinas de la fachada principal. Todo el edificio está rodeado por una cerca o muro exterior de la que dice el propio Camacho: “La cerca tiene en toda su circunferencia 514 varas, la cual se ha reedificado encima de las ruinas de la fortaleza exterior, que dicho castillo tenía en su antigua fábrica”.
Los marqueses venden el granero en 1925. Después de estar en manos diferentes propietarios lo compra el Ayuntamiento de Montilla en 1998. Desde el año 2007 se empieza su estudio y restauración bajo la dirección del arquitecto Juan Cuenca.
El Ayuntamiento de Montilla trabaja para la recuperación del recinto con la intención de incrementar su valor cultural. Así tiene en proyecto dedicar una parte del castillo para la creación de un museo que, dotado de seis salas, esté dedicado a la figura del Gran Capitán.