A l’arrière de l’église, une maison d’aspect ordinaire, quoique ancienne, est dénommée traditionnellement le « château ». Elle passe pour avoir été celle de la famille des Champs de Verneix.
_En 1505, François de Chaslus, seigneur de la Brosse, de Verneix, des Montais, rend hommage pour ses maisons de Verneix et des Montais.
En 1667, Etienne des Champs est seigneur de Verneix… L’actuelle maison a-t-elle remplacé un château plus ancien ? C’est fort possible, et le choix de l’emplacement aurait été justifié, beaucoup plus que celui des Clayolles que nous verrons…
En 1569, Nicolai note le sieur de Verneix et le sieur de Mirebeau ayant justice et dépendant de la châtellenie de Hérisson, ainsi que les sieurs de Chaloche et de Fragne, non ayant justice.
En 1686, d’Argouges signale « le sieur des Champs, y a fief et justice de Mirebeau, le sieur de Bartillat, le fief de la Chastre, le sieur de Fraigne, celui de Chaloche ».
Quant à la paroisse, « tirant en montagne, au dessus du castel de Thizon, elle est fertile en blés et vins, et consiste en la quantité de 90 feux ». La cure est tenue en patronage du prieur de Souvigny et à la collation de l’archevêque de Bourges.
Le château des Clayolles passe pour être très ancien. On parle du XIIème siècle. Mais dans son aspect actuel, il laisse plutôt penser à une date plus récente, le XVème. Il était constitué de deux grands corps de bâtiment parallèles et face à face, de part et d’autre d’une cour carrée. Aux 4 angles, ont dû exister 4 tours rondes à toiture en poivrière, dont trois sont indiquées sur le plan du cadastre ancien, et dont il ne reste plus qu’une seule aujourd’hui. Il existe encore deux mares susceptibles de signaler la présence de fossés.
Le château n’est pas cité par Nicolai. Au XVIIIème siècle, en est possesseur une famille Deschamps des Clayolles. Dans une des tours, il y avait une chapelle dont la Vierge en bois a été transférée, pour des raisons obscures (on parle d’incendie), et « pour la sauver » au-dessus de la fontaine des Boudots, où elle trône maintenant dans un édicule.
La ferme des Boudots a été longtemps une dépendance des Clayolles. Le toponyme Clayolles provient de claie, et signifie le « lieu clos, fermé ». Il est probable qu’il y eut transfert du siège du fief de Verneix aux Clayolles.
La Maison-forte de Chaloche, devenue exploitation agricole, est encore en partie entourée de larges douves en carré. En 1300, Mathez Avenez, clerc, avoue tenir de Pierre d’Avenières… son champ de Challoches avec ses appartenances sises en la châtellenie d’Hérisson.
