Sobre el castillo, del que hoy solo perdura un lienzo de muralla y una torre, no hay documentación que permita determinar la planta, ni las dependencias con que contaba ni la extensión del recinto amurallado. Serrano Rico nos dice: ”Este castillo fortaleza estaba enlazado por la parte Norte con el recinto de la muralla que rodeaba la población, teniendo debajo los arrabales de El Albaicín, y del que a raíz de la conquista se llamó La Morería, así como el de los Barrios con su mezquita (…) sobre su origen hay diversidad de opiniones. Los más, creen que es árabe, los menos opinan que aún es más antiguo y lo creen romano y, últimamente, algunos, quizás basándose en el documento más antiguo que lo menciona, del año 1333, creen es cristiano construido a raíz de la Reconquista para la defensa contra las incursiones de los musulmanes del reino de Granada. Por mi parte, no dudo que es árabe”.
La fortaleza pasa a manos cristianas con Fernando III, posiblemente en torno al año 1241. El castillo contaba con dos torres. La torre que queda en pie es la del Homenaje: de planta cuadrada, con unos 18 metros de altura, con muros de unos tres metros de grosor construidos con argamasa, almendrilla y reforzados en sus esquinas con ladrillos; tiene dos pisos cubiertos con bóvedas, hoy hundidas, y está rematada por una terraza desmochada. Cuando la torre pasa a propiedad municipal estaba en estado de abandono por lo que fue necesario realizar una restauración que culminó en febrero de 2002, fecha en que abre sus puertas al público. La entrada actual se efectúa por la cara que da a la calle Iglesia donde se encuentra una puerta que da acceso a la planta baja. Nada más pasar el dintel de la puerta ya se percibe el destrozo que, con un martillo neumático, realizó el anterior dueño de la torre para darle más altura a la entrada y poder meter su tractor. A la derecha del salón de la planta baja se abre un vano que da a la primitiva escalera (hoy desaparecida pero, en el mismo lugar, con la restauración se construyó una de madera) que subía a la planta superior. A la izquierda del mismo salón, se abre otro vano que conduce a una pequeña dependencia y a un pasillo abovedado que corresponde a la primitiva entrada (hoy cegada) en recodo de la torre que está situada en la cara norte. El salón estaba cubierto por una bóveda semiesférica sobre pechinas que se hundió pudiendo apreciarse todavía el arranque de la misma y las pechinas que la soportaban así como el armazón a simple vista que soporta el piso de madera de la planta superior, obra de la restauración efectuada. El salón de la planta principal (lugar de residencia de los señores) estaba cubierto por una bóveda octogonal, también hundida, que era soportada por pechinas en forma de nichos con arcos de herradura. “En el piso principal hubo tres aljamíes o ajimeces dobles; uno al haz del mismo y otro interior, quedando entre ambos un gabinetito cuadrado en el espesor del muro, otra característica idéntica a los ajimeces de El Carpio (…) El salón donde se abrían estas ventanas sería la gran cuadra o el salón de ceremonias de la fortaleza o tal vez la residencia habitual de los señores” ( Valverde/Toledo, 1987).
Finalmente, una empinada escalera de madera colocada por las obras de restauración conduce a una superficie acristalada donde se sitúa la trampilla que da acceso a la terraza en la que, desmochada, se ha puesto como protección para el posible visitante una barandilla metálica.
La restauración también se refleja en las caras exteriores de la torre, en la plaza que se sitúa al inicio de la calle Arco de la Villa y, sobre todo, en el edificio anexo a la torre que alberga el Museo de Cerámica.