Toen de commissaris van de koningin in 1819 onverwachts op bezoek kwam en het weeshuis inspecteerde, was hij zeer ontstemd over de verwarde staat en de onzindelijkheid die hij aantrof. Daar schrok het stadsbestuur wel van en er werden maatregelen genomen om het weeshuis te verbeteren. Maar echt gezellig werd het nooit. Het weeshuis was voor alle gezindten toegankelijk. Zowel hervormden als katholieken konden erin opgenomen worden. Op zondag werd erop gelet dat de kinderen op het juiste tijdstip naar hun eigen kerk gingen.
Pas 100 jaar later, in 1923, werd voor het eerst een "gezelschapskamer", een soort huiskamer, ingericht. Dan kon ook, omdat het aantal wezen steeds verder afnam. Woonden er in 1850 meer dan 90 wezen, in 1900 waren het er veertig en bij het begin van de Tweede Wereldoorlog waren het er nog maar 8. Dat aantal was te laag om het weeshuis open te houden en werd gesloten.
