Poco es lo que ha quedado tanto del castillo como del recinto amurallado de la Almedina de Baena en el que se ubica. El castillo es de planta cuadrangular, de uno 70×57 m y de su pasado esplendor son los restos de murallas de sillería y mampostería, así como varias torres que poseía en sus esquinas llamadas de los Secretos, de los Cascabeles, y una última de mayores proporciones, denominada de las Arqueras o de las Cinco Esquinas. Está situado en el sector NE. del recinto fortificado, que aún hoy se conserva en parte, con lienzos de muralla, torres y dos puertas en recodo abovedadas, típicamente islámicas conocidas como Arco de Consolación y Arco Oscuro, situadas en el flanco meridional.
El ilustre erudito local Francisco Valverde y Perales dice que la residencia que allí fijaron algunos de los Señores de Baena, hizo que interiormente se le agregaran dependencias ajenas a las necesidades militares, a que la fortaleza estuvo siempre dedicada perdiendo, por tanto, su aspecto militar para tomar el de las construcciones urbanas, y cuando aquellos Señores dejaron de habitarlo con sus familias, quedó para vivienda de sus administradores y tesoreros haciendo más obras y desfigurando más y más el primitivo carácter de la construcción. Valverde y Perales reproduce un interesante documento, fechado el 19 de diciembre de 1786, que describe el estado del castillo en aquel tiempo:
“El Castillo está Cercado de Fuertes y bien formadas Murallas y Baluartes, con su Plaza de Armas, y en una de dichas torres, conocida por de las Arqueras, que haze fachada al Poniente y Sur y tiene cinco Esquinas, estuvo preso el Rey Chico de Granada en un cóncavo de la pared que mira al Lebante: Tiene dos Puertas Principales dicho Castillo la una llamada del Campo a Lebante Guarnecida de dos grandes Torres y otros Fortines con Morteros Terraplenados al Norte y Lebante. La otra que llaman de la Placeta, (que la tiene mui capaz) al Poniente con dos grandes Torres y unas Fuertes Puertas de Hierro, con una capaz Escalera para descender de su Mortero que tiene al Sur y Poniente, Digo Norte, con dos Mármoles de Jaspe al pie y en ellos una fuerte y gruesa cadena: Tiene en su patio principal un grande y espacioso Arxibe en que se recoje y conserva gran porción de agua llovediza de la que veben muchas gentes, al pasar por el, como que es casa de paso, sirve de habitación de los contadores, caballerizos y Administradores, otros criados e hijos de criados y muchas familias pobres o viudas que se recojen de limosna, en los Cuartos del Patio de la puerta del Campo dicha Al Lebante donde hay unas buenas caballerizas con las vistas al Norte que sirven para los caballos Padres y cría de Potros de dichos excmos ssres Duques de Sessa, con su Alcayde”.
Diego Fernández de Córdoba, III Conde de Cabra, fijó su residencia en el castillo desde principios del siglo XVI y le fue dando un carácter más palaciego. Como elemento más reseñable cabe destacar la apertura de vanos y puertas en los muros hasta entonces inexpugnables, junto con la nueva compartimentación de los espacios que generaba por la construcción de numerosas dependencias, tanto para los señores como para su servicio, estancias domesticas cubiertas, patios porticados, etc. El recinto mantendría este carácter palaciego hasta finales del siglo XIX, concretamente hasta 1897, fecha en la que la propiedad es subastada por los duques y comprada por particulares.
Ya entrado el siglo XX comenzó un periodo de abandono, ruina y de uso del monumento como cantera para la construcción de viviendas de nueva planta en el ensanche de Baena. A esto hay que sumar la construcción de los depósitos de agua en el interior del patio de armas durante los años que van desde 1927 a 1959, lo que supuso el destrozo de todas las estructuras históricas del interior del recinto y sepultó todas las que quedaban en pie en estado ruinoso. Desde comienzos del siglo XXI el Ayuntamiento viene llevando a cabo una notable labor de investigación y restauración del edificio que ha permitido recuperar uno de los monumentos más emblemáticos de la ciudad. Se ha procedido a la consolidación y restauración de las fábricas históricas y pavimentos que han aflorado después de las excavaciones arqueológicas, a la reutilización de los antiguos depósitos de agua localizados en el interior del patio de armas del castillo, a la reintegración parcial de trazas y perfiles en torres y lienzos desaparecidos y a la recuperación de volúmenes que permitirá generar nuevos espacios donde incorporar nuevos usos. Se ha recuperado la desaparecida Puerta del Campo y la Torre de las Arqueras, en cuyo interior se ubicará el centro de recepción de visitantes del castillo de Baena; finalmente, el acceso a la terraza, se ha convertido en un mirador a escala territorial, que permite divisar la totalidad de la población y el paisaje circundante.
Las tareas arqueológicas que consistieron, básicamente, en análisis paramentales y en la apertura de sondeos, con sus posteriores ampliaciones, han permitido documentar una serie de estructuras (muros y torres) fabricadas en tapial de época almohade que, posteriormente, quedaron embutidas y forradas por muros de mampostería a lo largo de los siglos XIV y XV, enmascarando la fortaleza primitiva, aunque esta no debió cambiar mucho en lo que se refiere a su planta original. Cabe destacar la presencia de un imponente recinto subterráneo, a modo de aljibe, de época bajomedieval y de planta cuadrangular, ejecutado sobre dos arcos de descarga en sus caras este y oeste y cuyo.