Costruito su cantine a volta risalenti al Medioevo, questo padiglione ospita la sala matrimoni e la sala del consiglio comunale, e occasionalmente ospita mostre.
Risalente agli inizi del XIX secolo, il padiglione sorge sul sito della torre originaria. L'edificio fu occupato da Jean Naly durante il suo mandato di sindaco, dal 1888 al 1893. In seguito divenne la residenza di Antoinette Delorme, una suora di Vallard, che lo vendette nel 1923 a Louis-Alphonse, principe di Borbone. L'edificio fu poi occupato dalle truppe nemiche durante la Seconda Guerra Mondiale, prima di essere utilizzato per un breve periodo per scopi gastronomici.
Nel 1993, il Comune decise di acquistare il castello, che divenne l'annesso del Municipio. Un giardino di rose lo circonda.
Nel 2015 il castello è stato ribattezzato Pavillon Stéphane Hessel, in onore dello scrittore e combattente della resistenza che nel 2010 è venuto a Gaillard per una conferenza.
Oggi ospita mostre temporanee e le varie sale sono disponibili per eventi privati.