Voordat stadssecretaris Hendrik Willem Brantsen tussen 1762 en 1764 het huidige huis Zypendaal liet bouwen, stond er al een andere woning. Dat buitenverblijf was tot de aankoop van Brantsen in 1743 het eigendom van mr. Willem van Baijen. Van die buitenplaats zijn enkele tekeningen bewaard gebleven.