Está situado al SO. del pueblo sobre un elevado promontorio rocoso que roza los 250 metros sobre el nivel del mar, lo que confiere a la fortaleza un imponente aspecto casi inaccesible; de hecho parece ser que nunca se tomó por la fuerza y cuando se ganó fue por sorpresa o por capitulación. Tiene una superficie de unos de 5.600 m2 y se considera como una de las fortalezas más famosas y mejor conservadas de la provincia de Córdoba. La construcción del castillo aparece remontarse a los tiempos de la dominación musulmana pues en tiempos de al-Maqqari (759) era una gran fortificación. Tras la reconquista, y especialmente a partir de los reinados de Alfonso XI y Pedro, el castillo conoció días de esplendor, siendo entonces cuando debió construirse la mayor parte de la fortaleza existente, que llegaría al siglo XIX en un estado ruinoso. En la actualidad el castillo está completamente reconstruido gracias a las obras de restauración llevadas a cabo entre 1902 y 1915, bajo la dirección del arquitecto Adolfo Fernández Casanova, a instancias de su propietario D. Rafael Desmaissieres y Farina, XII Conde de Torralva; aunque las obras comenzaron con anterioridad y no concluyeron hasta 1936.
El gran recinto amurallado se rodea de fuertes murallas que se doblan formando una barbacana en la mitad del perímetro, por el ángulo SO. y los flancos O. y N. que son los menos protegidos, razón por la cual también se levantaron aquí numerosas torres: la de las Campanas o de la Miga, la de la Escucha, la de la Escuela, la Redonda, la Cuadrada, la del Moro y una más pequeña en el extremo más oriental. Todas estas torres se caracterizan por sus dimensiones y forma diversas, si bien, predominan los torreones prismáticos, de planta rectangular, a excepción de la Redonda. Todas ellas están coronadas con azoteas, canes, garitones y almenas y, a veces, con merlones prismáticos macizos o perforados con aspilleras; el interior de todas ellas es macizo, mientras que en el resto del alzado se superponen varias estancias cubiertas con bóvedas gallonadas de base octogonal propias de la arquitectura mudéjar.
En el flanco oriental sobresale la octava torre del castillo que corresponde a la torre del homenaje, de 26 m de altura, (a modo de torre albarrana) que es la edificación más importante de todo el castillo y que se une al resto del castillo mediante un viaducto alto hasta el adarve. Su planta es cuadrada y se organiza en su interior a través de tres plantas. Las cámaras de los dos primeros pisos son octogonales pero la superior, la más interesante, es cuadrada y tiene una curiosa cubierta abovedada de disposición octogonal con gruesos nervios que refuerzan las aristas de los casquetes; el paso de la planta cuadra de la base al octógono de la bóveda se resuelve mediante trompas con arcos de herradura. Sobre la puerta de entrada a la torre aparece un escudo con los atributos de Castilla y León, ceñido por una bordadura con tracería mudéjar y un esquemático tallo de hojas puntiagudas y encorvadas y en su pie figuran dos leones echados y aculados. En el extremo opuesto de la torre del homenaje se ubica la torre de la Escuela, ochavada y con bóveda de sillares, con la clave formando pequeñas piezas en cruz; presenta al exterior ventanas de parteluz y garitones volados en los dos ángulos opuestos a al recinto. La amplia plaza de armas está dispuesta a dos niveles, más alto el occidental, que se comunican por el lado S. y en ella se encuentran dos grandes aljibes. En la restauración de Fernández Casanova se construyeron en esta plaza de armas una vivienda noble, una capilla dedicada a la Virgen del Rosario (patrona de la villa) y otras dependencias de estilo neogótico.
El acceso al castillo se realiza por un arco apuntado de herradura seguido de un vestíbulo cuadrangular. En uno de los ángulos de la torre que flanquea la puerta aparece el escudo de la Casa de Córdoba, así como una gárgola en forma de ménsula por debajo de las almenas.
Todo el conjunto conforma una de las más impresionantes fortalezas de la provincia de Córdoba, pero las restauraciones llevadas a cabo a comienzos del siglo XX enmascararon gran parte de las fábricas originales y hoy día se hace difícil establecer diferencias claras, por lo que urge un estudio arqueológico de todos los paramentos. El castillo es de propiedad privada y está abierto al público.