Saint Seurin d'Uzet, le château