Helier DeCarteret découvrit les ruines de cette propriété lors de son arrivée à Sercq en 1563. Il reconstruisit la maison et y fit graver ses armoiries, faisant ainsi du Manoir la première seigneurie.

Le Manoir demeura la résidence du seigneur jusqu'en 1730, date à laquelle Susan Le Pelley devint dame. Susan choisit de rester à la Perronerie, sur le domaine de l'actuelle seigneurie, et fit don du Manoir au ministre. Il continua de servir de presbytère jusqu'aux années 1930, puis fut acquis comme résidence privée.