Muy probablemente de origen musulmán, la primera referencia que se tiene del castillo de Valencia de Alcántara es su conquista por la Orden de Alcántara en la primera mitad del siglo XIII. Es muy posible también que fuera el germen que dio origen a la población tal y como la entendemos hoy, a pesar de que algunos se empeñen en atribuirle un origen romano. Testigo de numerosos enfrentamientos entre españoles y portugueses, resultó seriamente afectado en algunos de ellos y hubo de ser reconstruido casi por completo en el siglo XVIII. Como curiosidad, su torre del homenaje actual parece ser que fue en principio una torre albarrana, es decir exenta de la muralla aunque comunicada con ésta. Tras alguna ampliación, pasó al interior del recinto amurallado y quedó situada en un flanco de éste, tal y como la vemos ahora.