Baudouin IV, comte de Hainaut surnommé l'Edifieur, entoura Bouchain de murailles vers 1160, et y construisit un château, fortifié comme tous ceux du temps, dans l'espace que comprend aujourd'hui toute la ville haute ; ce fait est attesté par l'épitaphe de Baudouin placée dans l'église Sainte Waudru à Mons. La tour d'Ostrevent est tout ce qui reste aujourd'hui de ce château.
