Van Cortlandt Manor war ursprünglich ein 86.000 Morgen (35.000 ha) großes Gebiet, das 1697 von König Wilhelm III. als Patent an Stephanus Van Cortlandt vergeben wurde, das sich vom Hudson River im Westen bis zur ersten Grenzlinie zwischen der Provinz New York und der Kolonie Connecticut im Osten erstreckte, zwanzig englische Meilen lang und zehn breit war und die Form eines fast rechteckigen Parallelogramms hatte, das „The Manor of Cortlandt“.“ Der riesige Besitz wurde von Stephanus van Cortlandt, einem gebürtigen holländischen Gentleman aus New York, zum Teil direkt von den Indianern erworben, zum Teil von anderen, deren Titel er später kaufte, zusammen mit einem kleinen Stück auf der Westseite des Hudson River gegenüber der Landzunge Anthony’s Nose, das er ebenfalls von den Indianern erwarb.

Das Herrenhaus wurde irgendwann vor 1732 erbaut, war aber nicht der Hauptwohnsitz des Besitzers, bis ein Enkel, Pierre Van Cortlandt, 1749 dorthin zog. Zu dieser Zeit befand sich das Herrenhaus auf einem 405 ha großen Teil des ursprünglichen Grundstücks.

Pierre brachte seine Familie 1749 auf das Anwesen und begründete die Blütezeit des Herrenhauses, wie manche behaupten. In dieser Zeit betrieb das Gut eine Apfelplantage, eine Molkerei, ein Bienenhaus, einen Brennofen, eine Taverne sowie eine Schreiner- und Schmiedewerkstatt. Van Cortlandt Manor war eine sich selbst versorgende Gemeinschaft, während Pierre und seine Familie auf dem Anwesen wohnten. Zu dieser Zeit bauten sich jedoch Spannungen auf, die zum Revolutionskrieg führten, und das Gut wurde zu einem Rückzugsort in Kriegszeiten. Pierre schlug sich auf die Seite der Kolonien, und das Gut wurde zur Unterstützung der Kontinentalarmee genutzt, indem seine Ressourcen zur Herstellung von Lebensmitteln und Vorräten verwendet wurden. Pierre war an der militärischen Gesetzgebung beteiligt, und sein Sohn Philip war Soldat der Kontinentalarmee. Schließlich verließen Pierre und seine Familie das Gut inmitten des Krieges. Das Landgut wurde von der britischen Armee geplündert und in schlechtem Zustand zurückgelassen. Philip, der gegen Ende des Krieges zum Brigadegeneral aufstieg, kehrte zurück und brachte das Gut zusammen mit seiner Schwester Catherine wieder zum Laufen.

Van Cortlandt Manor wurde in den Jahren nach dem Krieg zu einer wichtigen Station auf der Strecke von New York nach Albany. Die Mühlen florierten wieder und versorgten die Gemeinde und die Reisenden mit Lebensmitteln, Vorräten und Unterkünften. Pierre und seine Frau kehrten erst 1803 zurück, als das Herrenhaus wieder voll funktionsfähig war. Das Gut wurde in der Familie weitergegeben, bis es 1945 an Otis Taylor, einen Nicht-Verwandten, verkauft wurde. Zu diesem Zeitpunkt hatte das Anwesen bereits an Glanz verloren und war nicht mehr das blühende Anwesen, das es einmal gewesen war. Einige Gebäude und Scheunen wurden abgerissen, um Platz für modernere Einrichtungen wie ein Kino zu schaffen.

1953 erwarb John D. Rockefeller Jr. das Anwesen und begann damit, das Herrenhaus wieder auf Vordermann zu bringen. Im Jahr 1961 wurde Van Cortlandt Manor als National Historic Landmark eingetragen.

Das Haus gehört nicht zum Gebiet von Cortlandt Manor, New York. Es ist eines der Herrenhäuser, die zu Historic Hudson Valley gehören.