A súa construción débese a Fernán Pérez de Andrade, O Boo, entre 1369 e 1377, en terreos que pertencían ós monxes de Sobrado. Nun primeiro momento os monxes non permitiron a súa construción, pero dous anos mais tarde, coa intercesión de Juan I e o pago de 10.000 marabedís mensuais, os monxes accederon. Tres séculos mais tarde pasou a mans do Conde de Lemos e posteriormente á casa de Lerma. Xa no século XIX foi restaurado polo arquitecto Tenreiro, por orde do duque de Alba, propietario do mesmo.

Polas súas reducidas dimensións suponse que foi empregado só como baluarte destacado ou como atalaia. Pero en ningún caso foi residencia dos condes. Tan reducido é o espazo que o patio de armas apenas supón 140 m2.

Na contorna deste castelo foi derrotado o primeiro alzamento popular na península contra a opresión dos señores. No 1431 houbo un estalido revolucionario liderado por Roi Xordo, cuxo detonante foi a elevada suba de impostos. O castelo foi destruído completamente na segunda revolta irmandiña, e reconstruído posteriormente.