Dopo aver acquisito il villaggio nel 1306, il conte di Savoia Amedeo V fece costruire un nuovo castello e decise di fortificare il villaggio per proteggersi dagli attacchi nemici. Il castello non è visitabile.
A partire dal 1308, il conte si impegnò a fortificare Yvoire per prevenire gli attacchi dei signori di Faucigny: fu allora che venne costruito il castello e vennero eretti i bastioni intorno al villaggio. I lavori durarono dal 1308 al 1318. L'edificio fu eretto all'estremità di una punta di terra, di fronte al lago, in modo che il nemico potesse essere visto da tutti i lati. L'antica porta d'ingresso al primo piano è ben visibile sulla facciata, ma ora è stata murata.
Proprietaria della casa dal 1655, la famiglia Bouvier intraprese importanti lavori di restauro (dal 1919 al 1939), anche del tetto, che era stato vittima degli attacchi dei bernesi nel XV secolo.
Proprietaria della casa dal 1655, la famiglia Bouvier intraprese importanti lavori di restauro (dal 1919 al 1939), anche del tetto, che era stato vittima degli attacchi dei bernesi nel XV secolo.
