Par charte royale, Van Cortlandt Manor était à l’origine un terrain de 86 000 acres (35 000 ha) accordé comme brevet à Stephanus Van Cortlandt en 1697 par le roi Guillaume III, s’étendant de la rivière Hudson à l’ouest jusqu’à la première ligne de démarcation entre la province de New York et la colonie du Connecticut, à l’est, vingt milles anglais de longueur sur dix de largeur, en forme de parallélogramme rectangulaire, formant le « Manoir de Cortlandt ». » L’exploitation massive a été acquise par l’achat direct des Indiens, en partie, par Stephanus van Cortlandt, un gentleman hollandais né à New York, et en partie par d’autres dont il a acheté les titres par la suite, cette parcelle, ainsi qu’une petite parcelle sur le côté ouest de la rivière Hudson en face du promontoire de Anthony’s Nose, qu’il a également achetée aux Indiens.

Le manoir a été construit quelque temps avant 1732 mais n’était pas la résidence principale d’un propriétaire jusqu’à ce qu’un petit-fils, Pierre Van Cortlandt, s’y installe en 1749. À cette époque, le manoir se trouvait sur une portion de 1 000 acres (405 ha) du terrain d’origine.

Pierre a amené sa famille au domaine en 1749 et a établi le manoir dans ses jours les plus vibrants, selon certains. Pendant cette période, le manoir exploitait un verger de pommiers, une ferme laitière, une maison d’abeilles, un four, une taverne et des ateliers de charpentier et de forgeron. Le manoir Van Cortlandt était une communauté autonome lorsque Pierre et sa famille résidaient dans le domaine. À cette époque, cependant, les tensions menant à la guerre d’Indépendance s’intensifiaient et le manoir allait devenir un lieu de retraite en temps de guerre. Pierre se range du côté des colonies et le manoir est utilisé pour aider l’armée continentale, utilisant ses ressources pour fabriquer de la nourriture et des fournitures. Pierre était impliqué dans la législature militaire, et son fils Philip était un soldat de l’armée continentale. Finalement, Pierre et sa famille ont quitté le manoir au cœur de la guerre. Le manoir a été saccagé par l’armée britannique et laissé en mauvais état. Philippe, devenu général de brigade à la fin de la guerre, revint et, avec sa sœur, Catherine, remit le manoir en état de marche.

Van Cortlandt Manor devint une étape essentielle sur la route de New York à Albany dans les années qui suivirent la guerre. Les moulins étaient à nouveau prospères et fournissaient à la communauté et aux voyageurs de la nourriture, des fournitures et un logement. Pierre et sa femme ne revinrent qu’en 1803, une fois le manoir à nouveau en état de marche. Le manoir est passé dans la famille jusqu’à ce qu’il soit vendu à une personne étrangère à la famille, Otis Taylor, en 1945. À cette époque, la propriété avait perdu de son éclat et n’était plus le domaine florissant qu’elle avait été. Certains bâtiments et granges ont été démolis pour faire place à des installations plus modernes, comme un cinéma.

En 1953, John D. Rockefeller Jr. a acheté la propriété et a commencé à restaurer le manoir pour lui redonner son lustre d’antan. En 1961, le manoir Van Cortlandt est enregistré comme National Historic Landmark.

La maison n’est pas incluse dans la zone de Cortlandt Manor, New York. C’est l’un des manoirs inclus dans Historic Hudson Valley.