Още през 13 в., когато тези земи са собственост на холандските графове, тук е била построена тяхна резиденция. През 1435 г. властта преминава в ръцете на жителите на Делфт и съществуващия дворцов комплекс е превърнат в кметство. Вследствие на непрекъснатото разрастване на града, сградата се достроява и приема формата на блок, издигнат около старата затворническа кула, разположена в центъра на комплекса. Напълно унищожена от пожар през 1536 г., тя се възстановява във вида, в който я виждаме днес по проект на холандският архитект Хендрик де Кайзер. Неговият проект за обширно здание с добре украсена фасада и с многобройни прозорци е завършен през 1620г.