Construido en su versión actual durante la primera mitad del siglo XVI, el castillo de los Vélez fue probablemente edificado sobre una fortaleza musulmana anterior. Fue el mismo Pedro Fajardo, marqués de los Vélez, quien ordenó su construcción con el fin de humillar a los habitantes de Mula tras haberle éstos exigido respeto a los fueros que Fernando III el Santo había otorgado a la villa. Su diseño es puramente renacentista y está situado sobre una roca que domina la población muleña. Se accedía a su interior a través de un puente levadizo, a la vez que una plataforma levadiza servía para llegar hasta la torre del homenaje, lo que suponía un doble sistema de defensa. Actualmente no es posible visitar su interior debido al estado de semirruina que presenta.