De oudste vermelding van Schouwenburg dateert van 1333. Maar het is niet bekend of er toen al een huis stond.
Twee eeuwen later in 1544 verkocht Otto van Haeften Schouwenburg aan Aert van Arler.
We weten uit een bewaard gebleven verpondingscohier (een soort belastingregister) dat er in 1623 een aanzienlijk huis bestond.
De oudste delen, de marmeren vloer in de hal en balklagen op de verdieping van het huidige huis stammen dan ook uit die tijd.
Tot 1761 is het landgoed eigendom gebleven van nazaten van Aert van Arler. Door vererving in de vrouwelijke lijn wisselden de adellijke namen van de eigenaren regelmatig: Sageman, Heeck, van Zuylen van Nijevelt en van Dedem.
De laatste Frederik Hendrik van Dedem leefde op iets te grote voet, zodat na zijn overlijden in 1761 Schouwenburg verkocht moest worden om zijn schulden af te betalen.
De volgende eigenaar-bewoner werd John McLeod.
Deze verkocht, na de dood van zijn echtgenote, Schouwenburg in 1777 aan de Baron Adolph Pieter Carel van Spaen.