Por Carta Real, Van Cortlandt Manor era originalmente una extensión de 86.000 acres (35.000 ha) concedida como Patente a Stephanus Van Cortlandt en 1697 por el Rey Guillermo III, Se extendía desde el río Hudson al oeste hasta la primera línea fronteriza entre la provincia de Nueva York y la colonia de Connecticut, al este, veinte millas inglesas de largo por diez de ancho, con una forma casi de paralelogramo rectangular, formando «La mansión de Cortlandt».» La enorme explotación fue adquirida por compra directa a los indios, en parte, por Stephanus van Cortlandt, un caballero holandés nacido en Nueva York, y en parte por otros cuyos títulos compró posteriormente, esta extensión, junto con una pequeña extensión en el lado oeste del río Hudson frente al promontorio de Anthony’s Nose, que también compró a los indios.

La casa solariega se construyó en algún momento antes de 1732 pero no fue la residencia principal de ningún propietario hasta que un nieto, Pierre Van Cortlandt, se trasladó allí en 1749. En ese momento la casa solariega estaba en una porción de 1.000 acres (405 ha) de la extensión original.

Pierre trajo a su familia a la finca en 1749 y estableció la mansión en sus días más vibrantes, según algunos. Durante este periodo, la mansión tenía un huerto de manzanas, una granja lechera, una casa de abejas, un horno, una taberna y talleres de carpintería y herrería. La mansión Van Cortlandt era una comunidad autosuficiente mientras Pierre y su familia residían en la finca. Sin embargo, en esta época se acumulaban las tensiones que conducirían a la Guerra de la Independencia y la mansión se convertiría en un lugar de refugio en tiempos de guerra. Pierre se puso del lado de las colonias y la mansión se utilizó para ayudar al Ejército Continental, utilizando sus recursos para fabricar alimentos y suministros. Pierre participó en la legislatura militar, y su hijo Philip fue soldado del Ejército Continental. Finalmente, Pierre y su familia abandonaron la mansión en plena guerra. La mansión fue saqueada por el ejército británico y quedó en mal estado. Philip, convertido en general de brigada al final de la guerra, regresó y, junto con su hermana, Catherine, devolvió la mansión a su estado de funcionamiento.

Van Cortlandt Manor se convirtió en una parada esencial en la ruta de Nueva York a Albany en los años que siguieron a la guerra. Los molinos volvieron a ser prósperos y proporcionaron a la comunidad y a los viajeros comida, suministros y alojamiento. Pierre y su esposa no regresaron hasta 1803, una vez que la mansión volvió a estar en pleno funcionamiento. La mansión pasó a manos de la familia hasta que fue vendida a una persona sin parentesco, Otis Taylor, en 1945. Para entonces, la propiedad había perdido brillo y ya no era la floreciente finca que había sido. Algunos edificios y graneros fueron derribados para dar cabida a instalaciones más modernas, como una sala de cine.

En 1953 John D. Rockefeller Jr. compró la propiedad y comenzó a restaurar la mansión para devolverle su importancia anterior. En 1961, la mansión Van Cortlandt fue registrada como monumento histórico nacional.

La casa no está incluida en el área de Cortlandt Manor, Nueva York. Es una de las mansiones incluidas en Historic Hudson Valley.