Bij koninklijk besluit was Van Cortlandt Manor oorspronkelijk een gebied van 86.000 acre (35.000 ha) dat in 1697 door koning Willem III als octrooi werd verleend aan Stephanus Van Cortlandt, dat zich uitstrekte van de Hudson-rivier in het westen tot de eerste grenslijn tussen de provincie New York en de kolonie Connecticut in het oosten, twintig Engelse mijlen lang bij tien in breedte, in vorm bijna een rechthoekig parallellogram vormend, “The Manor of Cortlandt.” Het enorme bedrijf werd verkregen door rechtstreekse aankoop van de Indianen, deels door Stephanus van Cortlandt, een geboren Nederlandse heer van New York, en deels door anderen wier titels hij later kocht, dit stuk land, samen met een klein stuk land aan de westkant van de Hudson Rivier tegenover het voorgebergte van Anthony’s Neus, dat hij ook van de Indianen kocht.

Het landhuis werd ergens vóór 1732 gebouwd, maar was geen hoofdverblijf van de eigenaar totdat een kleinzoon, Pierre Van Cortlandt, er in 1749 ging wonen. In die tijd stond het landhuis op een stuk van 405 ha van het oorspronkelijke landgoed.

Pierre bracht zijn familie naar het landgoed in 1749 en bracht het landhuis in zijn meest levendige dagen, volgens sommigen. In deze periode exploiteerde het landhuis een appelboomgaard, een melkveebedrijf, een bijenhuis, een oven, een taveerne, en timmermans- en smederijen. Van Cortlandt Manor was een zelfvoorzienende gemeenschap toen Pierre en zijn gezin op het landgoed woonden. In die tijd liepen de spanningen op tot de Onafhankelijkheidsoorlog en het landhuis zou een toevluchtsoord in oorlogstijd worden. Pierre koos de kant van de koloniën en het landhuis werd gebruikt om het Continentale Leger te helpen, waarbij de hulpbronnen werden gebruikt om voedsel en voorraden te maken. Pierre was betrokken bij de militaire legislatuur, en zijn zoon Philip was soldaat in het Continental Army. Uiteindelijk verlieten Pierre en zijn familie het landhuis in het heetst van de oorlog. Het landgoed werd door het Britse leger geplunderd en in slechte staat achtergelaten. Philip, die aan het eind van de oorlog brigadegeneraal was geworden, keerde terug en bracht samen met zijn zuster Catherine het landhuis weer in orde.

Van Cortlandt Manor werd in de jaren na de oorlog een essentiële halte op de route van New York naar Albany. De molens bloeiden weer en voorzagen de gemeenschap en de reizigers van voedsel, voorraden en onderdak. Pierre en zijn vrouw keerden pas in 1803 terug toen het landhuis weer volledig in bedrijf was. Het landgoed werd in de familie doorgegeven tot het in 1945 aan een niet-verwant, Otis Taylor, werd verkocht. Tegen die tijd had het landgoed zijn glans verloren en was het niet meer het bloeiende landgoed dat het ooit was geweest. Sommige gebouwen en schuren werden afgebroken om plaats te maken voor modernere faciliteiten, zoals een filmhuis.

In 1953 kocht John D. Rockefeller Jr. het landgoed en begon met de restauratie van het landhuis, zodat het weer zijn vroegere aanzien terugkreeg. In 1961 werd Van Cortlandt Manor geregistreerd als een National Historic Landmark.

Het huis is niet opgenomen in het gebied van Cortlandt Manor, New York. Het is een van de landhuizen opgenomen in Historic Hudson Valley.