D'un point de vue historique, la base mérimée nous apprend que L'hôtel de la Vrillière :
Apparait sur le plan de Caron daté de 1680.
En 1737 Louis XV l'achète au sieur Bataille afin d'y installer la prévôté et la prison.
En 1755 une chapelle est élevée, sur les fonds des congréganistes de la ville, sur le terrain de la prison afin d'y célébrer leur culte et celui des prisonniers (deux tribunes réservées a leur usage)
Il semble que l'aile gauche a été détruite au XIXe siècle puisqu'elle ne figure pas sur le cadastre napoléonien.
La chapelle a été de plus utilisée comme salle de tribunal.
De nos jours c'édifice est utilisé comme maison des associations et tout le décor intérieur a été repris.