Malgrat que es va construir per ordre de Gausfred II de Rosselló en terres del comte Ponce I d’Empúries en 1050, a la muntanya més alta de la Albera, per a controlar les tropes enemigues, amb la seva derrota de la guerra de Requesens passa a les mans dels Rocabertí.
Es va reconstruir amb estil medieval entre 1890 i 1899. És un castell amb tres muralles, torres rodones i quadrades, patis i escalinates de pedra, que es troba abandonat. Per a visitar-ho cal fer una excursió a peu a la localitat de Cantallops.
Un recorregut com d’una hora pujant per una sendera poc complexa i amb senyalització deguda. És un passeig molt bonic per una zona de boscos de sureres, pins i castanyers, croades per rierols amb gust picant pel seu alt contingut de ferro. Els monòlits del Puig Va rodar i Coll de Medes són evidències d’èpoques remotes.
Curiosament, el passeig es fa en un trajecte circular, en descendir per un altre camí. En una de les corbes es pot veure el castell a la distància, una imatge increïblement bella de l’època neo medieval, que és ben cultural i patrimoni català des de 1993.
Aquest castell impactant, en la seva part baixa té les seves primeres defenses i quadres de caballerizas i hospital. En entrar, sorprèn la seva construcció amb laberints, passadissos, sales, habitacions, patis i cuines que poden fer perdre als visitants, on existeix la llegenda que habitaven la dona i filles de l’amo i senyor de Pirineu, un gegant set vegades més alt que la torre més alta.
