♦ Les premiers occupants des bâtiments de la rue des Jésuites furent les Pères de la Compagnie de Jésus. Arrivés à Tournai en 1554, les Jésuites s’installèrent dans la « rue des Allemans » ou « de Babylone », ancienne « rue de la Vigne », à la fin du XVIe siècle. Leur collège fut inauguré en 1595.
♦ Après la suppression de la Compagnie de Jésus par le pape Clément XIV en 1773, le collège tournaisien fut mis en vente et racheté par les religieux de l’abbaye de Saint-Médard de Tournai, ancienne abbaye de Saint-Nicolas-des-Prés (1779).
♦ Ces religieux furent expulsés des lieux par les commissaires de la République française (1797). Les bâtiments devinrent ensuite le siège de la sous-préfecture du département de Jemappes (1800).
♦ En 1807-1808, Mgr François-Joseph Hirn, premier évêque concordataire de Tournai, obtint les bâtiments du gouvernement de Napoléon pour pouvoir y installer le séminaire diocésain. Il les restaura à grands frais grâce aux dons des prêtres et des fidèles du diocèse.