La famille de Clifford appartient aux familles subsistantes de la noblesse anglo-normande. Leur présence est attestée dès les premières années du XIIe siècle à Hay-on-Wye dans le comté d'Herefordshire, et la famille compte pairs et baronnets dès le début du XIXe siècle.