Le Château de la Vigne, lieu de prestige