Le château de Charmoy est situé sur la commune de Brion en Saône-et-Loire, sur la voie romaine d'Autun à Feurs.