De heerlijkheid Coolhem klimt op tot de zevende eeuw. Rond 1300 werd Coolhem eigendom van de Grimbergse familie Van Oyenbrugge. Deze familie verkocht het domein in 1470 aan de Sint-Bernardusabdij van Hemiksem, waarna het als refugie of buitenverblijf fungeerde. Tien jaar na de aankoop heeft abt Martinus Blijleven Coolhem omgetoverd tot een prachtig buitengoed met een nieuw stenen huis en kapel, een paardenstal, een boomgaard en kruidentuin en dit alles omgeven door een diepe gracht. De paters zochten in 1590 en nogmaals in 1635 hun toevlucht in Coolhem, toen hun abdij door oorlogsgeweld en oproer was beschadigd. In 1797 werden de paters door de Franse bezetter definitief uit Coolhem verdreven. Het domein werd aangeslagen en als zwart goed verkocht aan Jos Van Nieuwenhuysen.
Rond 1810 liet de nieuwe eigenaar de oude priorij afbreken om met de opbrengst van de verkoop van de afbraakmaterialen het domein te kunnen onderhouden. De kapel, toegewijd aan de H. Bernardus, werd in 1828 door de familie opgericht als herinnering aan de vroegere kloosterkapel van de priorij van Sint-Bernardus.
Vervolgens werd het eigendom van de voorname familie Van de Wiele. In 1920 vestigde de familie Sheid zich in Coolhem. De laatste eigenaar was Marcel Braspennincx, die het in 1987 aan het Gemeentebestuur van Puurs verkocht.