Hay que remontarse al menos al siglo XII para situar el origen del castillo de Castelo de Vide, aunque resulta imposible fijarlo con exactitud pues no nos ha llegado documentación al respecto. Su versión actual data del siglo XIV, cuando en tiempos del monarca luso Alfonso IV quedaron completados los trabajos de reconstrucción de la fortaleza y fue edificada la muralla que rodeaba la población. Nuevas restauraciones tuvieron efecto durante los siglos siguientes, en especial durante el siglo XVII, cuando se le añadieron baluartes siguiendo el modelo de la arquitectura militar francesa de entonces. El resultado es una fortaleza de planta cuadrangular adaptada a las sinuosidades de la colina sobre la que se ubica. Consta de varias torres y cubos circulares, precedidos todos ellos por una barbacana. En algunos puntos pueden verse restos de la primitiva construcción musulmana que le sirvió como punto de partida.