Le château de Ladhuie a été construit sur les berges du Lot, sur le territoire de la commune de Montayral, dans le département de Lot-et-Garonne.