In 1628 werd door de stad Goes in dit gebouw het weeshuis gesticht. De wezenzorg was tot dan toe heel slecht geregeld. Wezen werden bij de meestbiedende in huis geplaatst en moesten hard werken om hun koopsom en de kost te verdienen. Maar ook in het weeshuis misten de wezen liefde en warmte. Toch was het een hele verbetering. Wezen kregen les op de armenschool tot ze veertien jaar waren. Dan moesten ze een vak gaan leren. Voor meisjes was dat eenvoudig; ze werden als dienstmeisje in een gezin geplaatst. Op school hadden ze al veel nuttige handwerken zoals breien, haken, stoppen en verstellen geleerd. En door mee te werken in het weeshuis konden ze ook eten koken en schoonmaken.

De jongens werden bij een baas in de leer gedaan: een timmerman, kleermaker, smid of waar maar een plaats beschikbaar was om een vak te leren. Een andere mogelijkheid was dat de jongens aanmonsterden en gingen varen, of dienst namen in het leger. In elk geval vetrokken ze uit het weeshuis als ze 18 werden en kregen dan vaak een getuigschrift en een klein spaarbankboekje mee.