In juni 1521 werd in Heverlee in de buurt van het kasteel van Croÿ een werf geopend. Vijf jaar later kon in het koor boven het hoofdaltaar het jaartal 1526 geschilderd worden. Op vijf jaar tijd was hier een laatgotische kerk verrezen met de grootte van een stadskerk. Het zou de grafkerk van de familie de Croÿ worden en de celestijnen van het aanliggende klooster zouden zorgen voor de bediening van de kerk en het opdragen van de missen. De kerk werd toegewijd aan Onze-Lieve-Vrouw-Boodschap zoals bij het moederhuis in Parijs.
Met de stichting van een grafkerk en bijhorend klooster plaatste de familie van Croÿ zich volledig in de traditie van hun Bourgondische landsheren. De Bourgondische hertogen hadden hun mausoleum nabij Dijon in de kartuis van Champmol die daarvoor door Filips de Stoute is opgericht.
Onze laatste Bourgondische prinses, Margaretha van Oostenrijk ligt begraven in de kloosterkerk van Brou, nabij Bourg-en-Bresse. Zij had dit klooster met grafkerk laten oprichten naar de wens van haar man, Filibert van Savoye en liet er verscheidene praalgraven voor vervaardigen, onder andere door haar hofbeeldhouwer Conrat Meit.
Willem van Croÿ had zelf de begraafplaats van Lodewijk van Orléans bezocht in het Celestijnenklooster in Parijs.
In september 1525 was de bouw van het convent zo ver gevorderd dat de kloosterlingen er hun intrek konden in nemen. De bouw van het klooster zou nog een tijd aanslepen. De pandgang kreeg een voorlopige houten zoldering en werd waarschijnlijk pas omstreeks 1540 overwelfd.
Rond 1600 trok Karel II van Croÿ zich het lot van de verwaarloosde priorij aan. Hij wordt daarom wel eens de tweede stichter van het convent genoemd.
Karel had grootse plannen. Je kan er nog een idee van krijgen op een vouwblad in het boek van Justus Lipsius, Lovanium, met een panorama van Heverlee. Je ziet er een genivelleerd landschap met kaarsrechte lijnen die loodrecht op elkaar staan in een orthogonaal raster.
De aanpassingen van het landschap heeft Karel voor een stuk kunnen realiseren. Om het terrein rond het kasteel te nivelleren liet hij de valleiwand van de Dijle afgraven. Zo kwam de Sint-Lambertuskerk (nu Sint-Lambertuskapel) op een geïsoleerde hoogte te liggen. Hij liet ook de dreef aanleggen (nu Kardinaal Mercierlaan, het voetbalstadion van OHL is ernaar genoemd) die het kasteel en de stad met elkaar verbinden, veertig voet breed (elf meter) en mille passus of duizend passen lang (één mijl of anderhalve kilometer.)
Waren enkele van de dromen van Karel en zijn omgeving uitgekomen, de toekomst van het klooster en de kerk zouden er gans anders uitgezien kunnen hebben. Zo droomde Karel van Croÿ van een college voor studenten, verbonden aan het klooster. Dit zou moeten komen hebben in een aanbouw aan de zuidkant met beneden een gehoorzaal en boven een bibliotheek. Het college is er nooit gekomen.
De toekomst van de kerk zou waarschijnlijk rooskleuriger geweest zijn, hadden de inwoners van Heverlee hun zin gekregen toen ze vroegen de Celestijnenkerk te mogen gebruiken als parochiekerk. In 1612 drongen ze hierop aan vanwege de bouwvallige situatie van de Sint-Lambertuskerk, “die welcke daegelijcx ruijneuse en caducq is wordende door het wegh bringhen van de omliggende berghen.” De kloosterkerk had alleen een toren moeten krijgen, met twee klokken en twee schellen. Karel was het plan niet ongenegen maar de verhuizing is nooit doorgegaan.
Aan het klooster werden herstellingswerken uitgevoerd: metselwerk, bepleistering van de binnenmuren en vernieuwing van het schrijnwerk buiten.
Voor de binneninrichting plande Karel ook een grondige vernieuwing. Van plint tot plafond moest er een volledig nieuwe verflaag komen, ontworpen volgens een vast schema: compartimenten in zwart en wit voor de zoldering, imitaties van diverse steensoorten voor de plinten en door zuilen van elkaar gescheiden medaillons op de wanden. De taferelen uit heiligenlevens en Bijbelverhalen zouden herhaald worden in de glasramen. De thematiek zou aangepast worden aan de functie van het vertrek. Het gastenverblijf had bij voorbeeld taferelen moeten krijgen uit de verhalen van Lazarus en van de Verloren Zoon. In de refter zou het leven van de Heilige Celestinus verbeeld worden.
Deze en andere plannen nam Karel van Croÿ mee in zijn graf. In 1612 stierf hij kinderloos. In zijn testament gaf hij de opdracht de Sint-Annakapel in de celestijnenkerk te versieren met de wapenschilden van alle heerlijkheden die in het bezit waren van de familie.
In zijn tombe was er al een plaats voorzien voor zijn jonge weduwe. Dorothea zou Karel met een halve eeuw overleven. Bovendien wou zij begraven worden op de plaats waar de priester de introïtus leest. Zij overleed in 1662 en reserveerde in haar testament een fatsoenlijk bedrag voor de stichting van een klooster voor vrouwelijke celestijnen in Nancy. In Heverlee liet ze naast geld voor missen en een grafplaat en naast giften voor de prior en enkele monniken een kleed na van rood fluweel doorregen met cantilledraad bezaaid met lovertjes voor een ornament en een ledikant met passement van gouddraad en een hemel als baldakijn, voor het Heilig Sacrament.
Het overlijden van Dorothea betekende ook het einde van het geslacht van Croÿ-Aarschot. Anna van Croÿ, zus van Karel en gehuwd met prins-graaf Karel van Arenberg, riep zichzelf uit tot hertogin van Aarschot.
Ook in de Celestijnenpriorij werd het geslacht de Croÿ afgelost door de Arenbergs maar dit veranderde weinig aan de situatie. Het bleef klachten regenen naar aanleiding van visitaties en de schadestaten en vertoogschriften bleven zich opstapelen in de archieven.
Prins-graaf Filips van Arenberg, die in 1644 tot hertog werd verheven, zou nog een barok epitaaf in de Celestijnenkerk krijgen maar de meeste Arenbergs zouden begraven worden in de crypte van het kapucijnenklooster in Edingen, dat in 1615 werd gesticht door Karel van Arenberg.
De Arenbergs verkiezen de kapucijnen boven de celestijnen maar de Celestina bleef ook voor de Arenbergs haar functie van memoriaal behouden.