L'église et le château sont en possession des évêques d'Agen depuis le Moyen Age. Bazens constitue la résidence privilégiée des della Rovere au début du 16e siècle puis de l'évêque Matteo Bandello, époque où sont effectués les travaux de reconstruction du château, dont l'aile nord est accolée à l'église.