Nachdem er das Dorf 1306 erworben hatte, ließ der Graf von Savoyen, Amédée V, ein neues Schloss bauen und beschloss, das Dorf zu befestigen, um sich vor feindlichen Angriffen zu schützen. Die Burg kann nicht besichtigt werden.
Ab 1308 begann der Graf, Yvoire zu befestigen, um die Angriffe der Herren von Faucigny zu verhindern. Zu dieser Zeit wurde das Schloss errichtet und die Stadtmauer um das Dorf herum gebaut. Die Bauarbeiten dauerten von 1308 bis 1318. Das Gebäude wurde am Ende einer Landzunge mit Blick auf den See errichtet, damit der Feind von allen Seiten kommen konnte. Die ehemalige Eingangstür im ersten Stock ist heute zugemauert und an der Fassade deutlich zu erkennen.
Die Familie Bouvier, die das Haus seit 1655 besaß, unternahm wichtige Restaurierungsarbeiten (von 1919 bis 1939), darunter das Dach, das im 15.
Die Familie Bouvier, die das Haus seit 1655 besaß, unternahm wichtige Restaurierungsarbeiten (von 1919 bis 1939), darunter das Dach, das im 15.
