Construido a comienzos del siglo IX es de origen musulmán. En sus comienzos constaba de un torreón con un patio adosado. Posteriormente, ya en siglo X, se construyó la muralla flanqueada por torres, que fue obra cristiana.
Del Castillo de Clavijo queda la muralla con los torreones cilíndricos y la torre del homenaje, donde se han encontrado restos de algunas maderas empleadas en su construcción.
Dada su situación estratégica, fue motivo de numerosas disputas, pasando a pertenecer a diferentes nobles de los reinos de Navarra y Castilla.
Hoy se encuentra en un estado semiderruido realizándose en él diversas obras de restauración para conservar este baluarte defensivo que se enclava en el sinuoso perfil que forma la roca.
Cuenta la leyenda que en el año 844 Ramiro I, rey de Asturias, batalló en este lugar contra los moros, a los que logró vencer gracias a la aparición del Apóstol Santiago a lomos de un caballo blanco y enarbolando la bandera blanca con la cruz roja de Santiago. Lo hizo según cuenta la leyenda, saltando de montaña en montaña y quedando para siempre la marca de las herraduras de su caballo en las rocas donde se apoyaba.