Las excavaciones arqueológicas permiten asegurar que el solar del castillo ya se ocupó desde el final de a Edad de Bronce, y el poblado que debió de existir a los pies de su lado sur, desde la Edad de Hierro. Ello fue debido, sin duda, a la riqueza minera de la zona, compatible con la explotación agrícola del cercano valle del Jiloca y con el pastoreo.
El castillo se ocupó de nuevo en época islámica (siglos X y XI). A partir de estas fechas la documentación histórica que se posee es muy escasa. En el fuero de Daroca (1142), otorgado por Ramón Berenguer IV, se dispone que «el castillo ganado al enemigo por vecinos de Daroca queda en poder suyo y de su descendencia, mirando siempre por la utilidad del reino y guardando fidelidad al Rey». En 1221 se cita el castillo como límite en el Cartulario de Aliaga.

En 1301 se sabe que el castillo es propiedad de Juan Ximénez de Urrea. A su muerte, en 1312 es vendido (transacción que se remata en 1379, según otras fuentes) junto con la cercana Almohaja a la Comunidad de Daroca.
Es en esta época de la Edad Media cuando su importancia estratégica se acrecienta por su posición limítrofe entre los reinos de Castilla y Aragón y de los señoríos de Albarracín, Molina y Comunidad de Daroca (precisamente el cerro próximo de San Ginés fue el límite común hasta 1833).
Con toda probabilidad, las grandes obras de reforma y ampliación del castillo (que seguramente conllevarían la total construcción del recinto exterior) se realizan a mediados del siglo XIV, con Alfonso IV y Pedro IV. Por ello, el espesor de los muros de este recinto (hasta 3,5 metros) y su configuración responden a la intención no solo de soportar asedios con artillería, sino también de proteger el resto de los lienzos interiores de los disparos desde los altozanos próximos. De esta época se conocen los nombres de los alcaides Gonzalo Fernández de León (1370) y Pedro Martínez (1373).
La considerable longitud de su cinta muraria exterior indica que su guarnición en tiempo de guerra debió de ser numerosa, y que en su interior se alojaban también tropas de caballería, cuyos animales se alojarían en el recinto exterior o al bacara.
Una curiosa descripción del armamento y de su lugar de almacenamiento la encontramos en un inventario de 1476 redactado por el notario Juan de Renda con motivo del nombramiento como alcaide de Jaime Perea: «… se pasó a la covacha, tercera puerta entrando a la izquierda, y pasó inventario de las armas y tormentos que había: siete docenas de viratons con plomo, dos docenas de ballestas, dos talegas buenas y un trabuco y una piedra de molino…».
Junto al cuerpo de guardia, situado a la derecha de la segunda puerta, se conservan restos de las reglas de juegos a base de perforaciones en la roca, que unidos a los dados hallados en las excavaciones ilustran parte de los pasatiempos de los defensores.
Con la unificación de los reinos de Castilla y Aragón y la unidad nacional, el castillo va perdiendo su función defensiva y estratégica, y se produce el consiguiente abandono provocado por el desuso.
Su última utilización con fines castrenses se produce en las guerras carlistas. En la primera de ellas, el cabecilla Forcadell tuvo su cuartel general en el vecino Monreal. Más tarde, el lugarteniente de Marco, Florentino Polo Peyrolón, se acerca a las proximidades de Pera- cense, y deja restos de ocupaciones y de trabajos de fortificación en el recinto alto de esta imponente fortaleza.
A partir de este momento se utiliza como cantera y almacén de materiales para construcciones de las proximidades.