Het Sint Paulusgasthuis (bestaande uit meerdere huisjes) werd omstreeks 1435 gesticht door de echtgenoot van Jutte van Erp, die in haar testament had bepaald dat er een 'gasthuis voor arme mannen en vrouwen' gesticht moest worden. Het was in die tijd gebruikelijk om, wanneer er geen kinderen waren, een deel van de bezittingen te bestemmen voor de armen. Het gasthuis en de bewoners werden onderhouden uit de opbrengst van pachtboerderijen van de schenkers. Eeuwenlang woonden alleenstaande vrouwen in de huisjes. In 1971 is de laatste bewoonster vertrokken.
Heemkundige kring 'De Oude Vrijheid' bezit een unieke collectie Brabantse mutsen, poffers, mutsversieringen en mutsenmaakstersgereedschap. Deze collectie is te zien in het Poffer- en mutsenmuseum. Het museum en de VVV-winkel zijn beide gehuisvest in het Sint Paulusgasthuis.