Familie Vermeulen Bosch Broks Habraken

In 1635 begonnen de plannen voor het Pesthuis, naar aanleiding van van een pestepidemie die destijds het land teisterde. Er werd een noodpesthuis gebouwd, in afwachting van het definitieve gebouw. Toen in 1655 opnieuw een epidemie uitbrak, was de bouw hiervan echter nog steeds niet veel opgeschoten. Pas in 1657 gaf het stadsbestuur toestemming voor het gebouw, dat uiteindelijk pas in 1661 af was.

Bijzonder genoeg is het Pesthuis nooit daadwerkelijk gebruikt als pesthuis. Tijdens zijn bestaan heeft het Pesthuis onder andere dienstgedaan als militair hospitaal, gevangenis en rijksopvoedingsgesticht voor jongens.

Het bouwplan werd gemaakt door stadstimmerman Huybert Cornelisz. van Duyvenvlucht, waarschijnlijk naar het voorbeeld van het Amsterdamse pesthuis (later het Buitengasthuis) aan de Overtoom.