Le premier collège des jésuites de Tournai est fondé en 1562. Les jésuites le quittent en 1773 lorsque la Compagnie de Jésus est supprimée. En 1839, un nouveau collège est ouvert, appelé Collège Notre-Dame. Ce dernier est confié par les Jésuites au clergé diocésain en 1957.