A Van Cortlandt Manor eredetileg egy 86 000 hektáros (35 000 ha) terület volt, amelyet Stephanus Van Cortlandtnak adományozott szabadalomként 1697-ben III. Vilmos király, amely a Hudson folyótól nyugatra a New York tartomány és Connecticut gyarmat közötti első határvonalig húzódott keleten, húsz angol mérföld hosszú és tíz mérföld széles, alakja majdnem egy téglalap alakú párhuzamos, “Cortlandt birtokát” alkotva.” A hatalmas birtokot részben közvetlen vásárlással szerezte meg az indiánoktól Stephanus van Cortlandt, egy New York-i születésű holland úriember, részben pedig másoktól, akiknek a tulajdonjogát később megvásárolta, ezt a területet, valamint egy kisebb területet a Hudson folyó nyugati partján, az Anthony’s Nose nevű kiemelkedéssel szemben, amelyet szintén az indiánoktól vásárolt.

A kastély valamikor 1732 előtt épült, de nem volt egyik tulajdonos fő lakóhelye sem, amíg egy unokája, Pierre Van Cortlandt 1749-ben oda nem költözött. Ekkor a kastély az eredeti traktus egy 1000 hektáros (405 hektáros) részén állt.

Pierre 1749-ben hozta a családját a birtokra, és egyesek szerint a kastélyt a legvirágzóbb napjaiban alapította meg. Ebben az időszakban a kastélyban almáskert, tejgazdaság, méhészet, kemence, kocsma, valamint asztalos- és kovácsműhely működött. A Van Cortlandt Manor önfenntartó közösség volt, amíg Pierre és családja a birtokon lakott. Ebben az időben azonban a függetlenségi háborúhoz vezető feszültségek egyre fokozódtak, és a kastély háborús visszavonulási hellyé vált. Pierre a gyarmatok oldalára állt, és a kastélyt a kontinentális hadsereg támogatására használták, a kastély erőforrásaiból élelmiszert és ellátmányt állítottak elő. Pierre részt vett a katonai törvényhozásban, fia, Philip pedig a kontinentális hadsereg katonája volt. Végül Pierre és családja a háború sűrűjében kiürítette a kastélyt. A kastélyt a brit hadsereg feldúlta és rossz állapotban hagyta. Philip, aki a háború végére dandártábornokká vált, visszatért, és nővérével, Catherine-nel együtt rendbe hozta a kastélyt.

Van Cortlandt Manor a háborút követő években a New Yorkból Albanyba vezető útvonal fontos állomásává vált. A malmok ismét virágzásnak indultak, és a közösséget és az utazókat élelmiszerrel, ellátással és szállással látták el. Pierre és felesége csak 1803-ban tért vissza, miután a kastély ismét teljes mértékben működött. A kastély a családban öröklődött, amíg 1945-ben el nem adták egy nem rokonuknak, Otis Taylornak. Ekkorra a birtok elvesztette fényét, és már nem volt az a virágzó birtok, ami egykor volt. Néhány épületet és pajtát lebontottak, hogy helyet adjanak modernebb létesítményeknek, például egy mozinak.

1953-ban John D. Rockefeller Jr. megvásárolta a birtokot, és elkezdte helyreállítani a kastélyt a korábbi fényében. 1961-ben a Van Cortlandt Manor nemzeti történelmi műemlékként lett nyilvántartásba véve.

A ház nem tartozik a New York-i Cortlandt Manor területéhez. Ez az egyik kúria a Historic Hudson Valley területéhez tartozó kúriák közül.