In 1895 vestigde de jonge congregatie Paters van de H. Familie zich in een voormalige kazerne in Grave. De aanwas van studenten was fors en in 1912 werd het gebouw te klein. Alphons de Kanter, een leerlooier uit Kaatsheuvel, bood de congregatie grond aan voor de bouw van een kleinseminarie in Kaatsheuvel. Het eerste gebouw van het noviciaat kwam achter het huis van P. van Dongen te staan en in 1914 kwam de huiskapel gereed. Het complex kreeg een eigen drukkerij, slagerij, bakkerij, boerderij, tuinderij en ook een begraafplaats.
Toen in 1924 Alphons de Kanter overleed, werd hij begraven op het kloosterkerkhof voor het calvariekruis. Drie jaar later werd zijn broer Johannes, die pastoor was, hier ook begraven. Op het grafmonument staat “Hier rusten onze weldoeners”.
In 1934 werd een nieuwe kapel ingewijd door Mgr. Arnold Diepe, bisschop van Den Bosch. Achter de kapel leidde een bidlaan naar het kerkhof van de paters. Het kloostergebouw werd in 1934 verbouwd tot missiehuis St. Antonius en uitgebreid met klaslokalen. Twee jaar later werd de missieprocuur verplaatst naar Goirle. Uiteindelijk zouden de paters in 1963 het klooster verkopen. Het gebouw werd in 1969 verbouwd tot een bejaardentehuis, Huize Vossenberg. In 1973 maakten de oude gebouwen plaats voor nieuwe en waren de kapel, de bidlaan en het kerkhof de enige overblijfselen van het klooster van de Paters van de H. Familie. Het perceel van de begraafplaats werd opgedeeld en het ongebruikte deel werd gebruikt om overledenen van Huize Vossenberg te kunnen begraven.
Het provinciaal bestuur van de congregatie wilde in 2010 de begraafplaats ruimen en opheffen, maar daar wilde de gemeente Loon op Zand geen toestemming voor geven. De begraafplaats was intussen namelijk samen met de bidlaan en de kapel aangewezen als gemeentelijk monument. Met het ruimen van de begraafplaats zouden dan bijzondere cultuurhistorische waarden voor Kaatsheuvel verloren gaan. Uiteindelijk kreeg het bestuur toestemming om de graven van de paters te ruimen en de stoffelijke resten over te brengen naar een verzamelgraf op de begraafplaats van de SVD-missiecongregatie in Teteringen. Het kerkhof mocht echter niet verdwijnen. In 2012 werden de stoffelijke resten opgegraven en gecremeerd, waarna de as werd bijgezet in Teteringen.
De prentbriefkaart laat duidelijk zien dat het huidige grafmonument voor het kruis niet het oorspronkelijke grafmonument is. Ook het calvariekruis is niet origineel. Het corpus ontbreekt bovendien. De houten grafkruisen die nu op de begraafplaats te vinden zijn, staan symbool voor de verdwenen graven van de Paters van de H. Familie.