Au départ simple donjon édifié au XIVe siècle par les ducs de Bretagne pour affermir leur pouvoir face à l’esprit d’indépendance des Malouins, le château fut régulièrement agrandi et modifié au cours des siècles.
Il abrite aujourd’hui l’hôtel de ville et ne se visite pas. On peut toutefois jeter un coup d’œil dans la cour intérieure pour voir les façades des casernes des XVIIe et XVIIIe siècles lorsque aucune cérémonie n’y est organisée. Le grand donjon, sur la droite, accueillait auparavant le musée d’Histoire, qui a définitivement fermé ses portes en 2020. Ses collections, autour de l’art de la navigation, de la construction navale, de la grande pêche à Terre-Neuve, ou encore des malouins illustres, devraient prendre place dans un tout nouveau musée d’Histoire maritime, dont l’ouverture est prévue pour 2025.