En 1301 se sabe que el castillo es propiedad de Juan Ximénez de Urrea. A su muerte, en 1312 es vendido (transacción que se remata en 1379, según otras fuentes) junto con la cercana Almohaja a la Comunidad de Daroca.

Es en esta época de la Edad Media cuando su importancia estratégica se acrecienta por su posición limítrofe entre los reinos de Castilla y Aragón y de los señoríos de Albarracín, Molina y Comunidad de Daroca (precisamente el cerro próximo de San Ginés fue el límite común hasta 1833).

Con toda probabilidad, las grandes obras de reforma y ampliación del castillo (que seguramente conllevarían la total construcción del recinto exterior) se realizan a mediados del siglo XIV, con Alfonso IV y Pedro IV. Por ello, el espesor de los muros de este recinto (hasta 3,5 metros) y su configuración responden a la intención no solo de soportar asedios con artillería, sino también de proteger el resto de los lienzos interiores de los disparos desde los altozanos próximos. De esta época se conocen los nombres de los alcaides Gonzalo Fernández de León (1370) y Pedro Martínez (1373).

La considerable longitud de su cinta muraria exterior indica que su guarnición en tiempo de guerra debió de ser numerosa, y que en su interior se alojaban también tropas de caballería, cuyos animales se alojarían en el recinto exterior o al bacara.

Una curiosa descripción del armamento y de su lugar de almacenamiento la encontramos en un inventario de 1476 redactado por el notario Juan de Renda con motivo del nombramiento como alcaide de Jaime Perea: «… se pasó a la covacha, tercera puerta entrando a la izquierda, y pasó inventario de las armas y tormentos que había: siete docenas de viratons con plomo, dos docenas de ballestas, dos talegas buenas y un trabuco y una piedra de molino…».

Junto al cuerpo de guardia, situado a la derecha de la segunda puerta, se conservan restos de las reglas de juegos a base de perforaciones en la roca, que unidos a los dados hallados en las excavaciones ilustran parte de los pasatiempos de los defensores.

Con la unificación de los reinos de Castilla y Aragón y la unidad nacional, el castillo va perdiendo su función defensiva y estratégica, y se produce el consiguiente abandono provocado por el desuso.

Su última utilización con fines castrenses se produce en las guerras carlistas. En la primera de ellas, el cabecilla Forcadell tuvo su cuartel general en el vecino Monreal. Más tarde, el lugarteniente de Marco, Florentino Polo Peyrolón, se acerca a las proximidades de Pera- cense, y deja restos de ocupaciones y de trabajos de fortificación en el recinto alto de esta imponente fortaleza.

A partir de este momento se utiliza como cantera y almacén de materiales para construcciones de las proximidades.