Localmente denominado Gravensteen, el castillo de los Condes fue construido a finales del siglo XII según el modelo que Felipe de Alsacia vio en las cruzadas. A partir de entonces sirvió como una de las residencias de los condes de Flandes durante varios siglos. Su inquilino más ilustre fue, sin duda, el monarca español Carlos I, que pasó su infancia en este lugar tras haber nacido en la población el 24 de febrero del año 1500. A finales del siglo XIX estuvo en riesgo cierto de ser demolido, pero la ciudad de Gante lo compró y en la actualidad se usa con fines turísticos, con algunas de sus dependencias sirviendo como museo de armas e instrumentos de tortura medievales. Su estado de conservación es excelente y mantiene intacto todo su sistema de defensa, que incluye un foso de agua.