Dominando la campiña se levanta un cerro de unos 387 metros de altitud donde se asienta el castillo de Aguilar. El cerro permite una visión panorámica de la campiña, una buena defensa, el control de la vía de Córdoba a Málaga y un contacto visual con otras fortalezas como las de Montilla, Monturque o Anzur. Todo esto le confiere un gran valor estratégico especialmente en una época que estará presidida por la reconquista de los dominios musulmanes, siendo desde el s. IX hasta el XVI las época de mayor actividad del castillo, que termina su evolución arquitectónica con la muerte de Alonso Fernández de Córdoba.
El cerro donde se asienta el castillo presenta una ladera escarpada por el norte y mientras las laderas este y oeste mantienen una pendiente bastante empinada, la ladera sur es la menos pronunciada y el lugar por donde se van a ir asentando a la vera del castillo las casas de la gente más pudiente formando el barrio más antiguo de Aguilar, conocido como el “de la villa”.
De 1840 tenemos una descripción del castillo que de manera literal dice así: “Sobre un cuadrilátero ó estribo de sillería, antiguo cimiento de la fortaleza de Ipagro, arranca el lienzo de muro y frente meridional del Castillo, de 240 pies de longitud, el cual se halla sostenido por dos anchos cubos circulares y una torre cuadrada que defiende toda la parte oriental y principalmente la puerta situada cerca del ángulo que la enlaza con la fachada del medio dia. Admirable por su sólida construcción sobre un tajado peñasco ofrecen sus muros por algunos sitios masas enormes de cerca de cuatro varas de espesor; y como si todavía no bastase también meditada defensa á resguardar la entrada de cualquier asalto imprevisto, adelantase al lado izquierdo y á respetable distancia del muro interior un baluarte, circular también, coronado de almenas, penetrado con aspilleras, defendido de un foso el cual servia de barbacana. Á la fortaleza, dominando las obras exteriores el circuito antiguo, y parte de la población derramada en la colina vertiente de la colina. Esta Torre tuvo su entrada única por el muro meridional y se halla a su vez dominada por el torreón circular de la izquierda, entre el cual y la puerta hay practicadas garitas salientes sostenidas en vistosos remates, sobresaliendo entre sus labores, águilas rapantes símbolo del estado de aquel nombre.
Los demás lados exteriores de él guardan la misma proporción, alternando los torreones o cubos en los ángulos con las garitas intermedias, siendo tal la prolijidad del arquitecto de esta obra, que para que cada una de sus partes correspondiere al todo, exornó los cubos con festones, cadenas, hojas y guirnaldas, en relieve del más acabado gusto.
La distribución interior aunque casi borrada por la mano del tiempo, y el vandalismo de la ignorancia que se deja bien conocer; después de pasado el ámbito ó soportal abovedado, dentro del cual giraban las puertas notase el lugar que debió ocupar la escalera, y hacia la mitad del muro los machones y arcos de sillería; que sostenían el pavimento del salón del homenaje situado hacia la parte de oriente en la misma torre cuadrada de que va hecha mención. Tiene este de largo cerca de 75 pies por 30 de ancho, y aun se notan en sus frentes los estribos de la grande ojiva, que le cerraba y los junquillos ó aristas, que cruzaban en opuestas direcciones hacia la clave principal.
Tres ventanas casi borradas hoy, hubieron de dar luz a tan grandiosa estancia; la una sobre la puerta, la otra sobre el patio grande del castillo, la tercera en la misma torre oriental. Hacia el lado del sur corre una galería destinada sin duda en su parte baja á los departamentos donde se alojaba la guarnición, y en el segundo piso, á los de los dueños y su servidumbre. Entre la galería y el gran salón se encuentra el patio, de proporcionadas y vastas dimensiones de 110 pies de largo y cerca de 85 de ancho, el cual enlaza las habitaciones meridionales con las septentrionales del castillo por pasadizos destruidos hoy totalmente. Ocupan su centro dos aljibes, largos como de 24 pies por 15 de anchura, en el más deplorable estado, obstruidos de escombros, quebradas ó hundidas sus bóvedas de ladrillo por los enormes sillares derrumbados de la fortaleza, sillares que, más bien que el trascurso de los siglos ha desprendido una orden bárbara y antinacional; una medida que so pretexto de mejorar el piso de las aceras de la villa, dio en tierra con un monumento ilustre de las artes, testigo de nuestras glorias, teatro de sucesos importantes, y cuna de varones eminentes. Cuando el presbítero D. Fernando Lopez de Cardenas escribía sus apuntes de la historia de Aguilar, á fines del siglo pasado, el castillo de Aguilar se encontraba habitable, casi intactos sus muros, útiles sus torres y digno de ser visitado; hoy gracias á una reprensible despreocupación mas funesta que todas las despreocupaciones de la antigua aristocracia española, es solo un estéril montón de ruinas, blanco de la ingratitud y olvido de la generación presente” (Manuel de la Corte Ruano, 1840).
El castillo, de planta rectangular, está orientado de norte a sur y rodeado de una muralla, prolongada por el sur para acoger el barrio “de la villa”, levantada con diferentes materiales como tapial, mampostería, sillares y sillarejos. Estaba rematada por almenas, jalonada por garitas salientes y reforzada por torres, normalmente de sección circular. Entre estas destaca: la Torre Norte de la que se conserva la esquina nordeste, conocida como Peñón del Moro, en la que puede observarse el arranque de los nervios de la bóveda de crucería que cubría la sala principal de la torre. Según el estudio realizado por Alberto León Muñoz, esta torre tiene planta rectangular de 26 por 16 metros, unos muros de 5 metros de ancho en el lado norte y 4 en el sur y una superficie de 424 m. cuadrados que por la anchura de los muros se reducen a 126 en el interior. La torre, de dos plantas más la de cubierta, contaba con un sótano con cocina, almacén y una sala rectangular que, ocupada por la guarnición y llamada Sala Honda, se comunicaba con el Patio de Armas por una escalera de caracol. La planta baja tenía unas estancias para la guarnición, el acceso a la planta alta y desde el Patio de Armas se accedía a la torre por una escalera de la que queda un resto visible. En la planta alta se situaba una cocina, las estancias para los señores y el Salón del Homenaje de 21 por 8 metros que estaba cubierto por una bóveda de crucería.
La parte meridional del castillo era por su menor pendiente la más necesitada de fortificación. En esta zona, demás de la muralla del núcleo principal del castillo, se construye una torre albarrana, conocida como Torre de la Cadena por una cadena que tenía esculpida, de la que partía una barbacana que terminaba en la esquina sureste de la fortaleza junto a la Torre de la Mazmorra. La de la Cadena es de planta circular de 12 m. de diámetro, contaba con aspilleras y almenas y estaba protegida en parte por un foso excavado en la roca de dos metros de profundidad. La torre, que se vino abajo (hoy conserva una altura de once metros) como consecuencia del terremoto que asoló Lisboa en 1775, tenía tres plantas pero, según indica Alberto León, la planta baja era maciza por lo que el acceso a la misma se haría mediante un pasaje desde la Torre Sur.
La Torre Sur, de sección circular, estaba adosada al lienzo de la muralla y se vio afectada por la canalización de los depósitos de agua construidos ya en el s. XX en el Patio de Armas. De igual manera, una torre de sección circular de 4 metros de diámetro y adosada al lienzo este de la muralla, se vio afectada por la construcción de un depósito de agua. El castillo contaba también con otra torre llamada de la Campana.
Al este estaba la entrada, de doble recodo y muros de tapial, al castillo y, lógicamente, al Patio de Armas. Este, de 31 por 24 metros, presenta una orientación N-S y contaba con un aljibe subterráneo de dos naves cubiertas por bóveda de ladrillo y era recorrido en sus lados norte, sur y este por una galería de columnas con arcos de medio punto que sostenían los corredores de la parte superior. El patio estaba cubierto por losas de mármol rojo de Cabra que fueron levantadas por el Corregidor y Presidente del ayuntamiento de Aguilar, Juan Vila Cedrón, que aprovechó estos materiales para las diversas obras de la villa.
El castillo sufrió un continuo deterioro que se inicia tras la conquista de Granada al perder importancia su función defensiva, acentuándose de manera alarmante su deterioro cuando en el s. XVIII padece las consecuencias del terremoto que sacudió Lisboa. A finales de dicho siglo ya estaba al borde del desplome y su destrucción casi total llega en el s. XIX cuando, con el permiso de sus dueños los duques de Medinaceli y contando con la miope visión de las autoridades, se permitió el expolio de sus materiales para utilizarlos en obras públicas como líneas de ferrocarril y carreteras. La misma localidad de Aguilar utilizo sus materiales para construir el ayuntamiento, la plaza ochavada o el acerado de las calles. No terminan aquí las agresiones al castillo pues, aprovechando la altura del cerro, en el año 1940 se construye en el Patio de Armas un depósito circular de agua para abastecer a la población y en 1970 otro rectangular que son retirados ya en el s. XXI.
El castillo, que solo era posible conocer por los dibujos y las descripciones de los siglos XVIII y XIX, fue declarado Bien de Interés Cultural en 1985. El Ayuntamiento de Aguilar inicia la limpieza del mismo para posibilitar las visitas. En el año 1992 se emprenden las excavaciones y estudios que permitirán conocer estructuras fundamentales para la reconstrucción virtual del castillo. Así, “desde el año 2009 se viene realizando un proyecto de investigación en el castillo (…), que ha sacado a la luz una serie de cambios considerables en la única reconstrucción virtual existente hasta el momento, que ha propiciado una nueva interpretación de la morfología de la fortaleza, que si bien se acerca más a la realidad de la construcción, está sujeta a futuras modificaciones, ya que la investigación aún continúa” (Cabezas Pérez y Carbajo Cubero, 2012).