Le premier établissement des Clarisses, fondé en 1243 par les vicomtes de Turenne, se situait hors les murs, au sud-ouest de la ville, dans l'actuel faubourg Champanatier. A l'époque des guerres de religion, leurs bâtiments ayant été détruits, sans doute en 1587, elles sont logées à l'intérieur de la ville murée, dans des constructions existantes, modifiées, agrandies et complétées à différentes époques.