Selon la légende, Charlemagne aurait tenu "conseil" en ce lieu après la bataille victorieuse contre les Sarrasins sur le coteau en l'an 804.
Le Château, construit vers 1500, a été maintes fois remanié mais il a conservé son caractère d'imposante gentilhommière.
Dans la famille Baudet depuis 1894, cinq générations se sont succédées pour y produire des vins de grande qualité.