Van Cortlandt Manor var oprindeligt et 35.000 ha stort område, der i 1697 blev tildelt Stephanus Van Cortlandt som et patent af kong Vilhelm III i 1697, der strækker sig fra Hudson-floden i vest til den første grænselinie mellem New York-provinsen og Connecticut-kolonien i øst, 20 engelske mil i længden og 10 i bredden, næsten som et rektangulært parallelogram, og som danner “The Manor of Cortlandt”.” Denne enorme ejendom blev erhvervet ved direkte køb fra indianerne, dels af Stephanus van Cortlandt, en indfødt hollandsk gentleman fra New York, dels af andre, hvis ejendomsret han senere købte, dette område sammen med et lille område på den vestlige side af Hudson-floden over for forposten Anthony’s Nose, som han også købte af indianerne.

Manor House blev bygget engang før 1732, men var ikke nogen ejers hovedbolig, før et barnebarn, Pierre Van Cortlandt, flyttede dertil i 1749. På det tidspunkt lå herregården på en 405 ha stor del af den oprindelige ejendom.

Pierre bragte sin familie til godset i 1749 og etablerede herregården i dens mest livlige dage, ifølge nogle. I denne periode drev herregården en æbleplantage, et mejeri, et bihus, en ovn, et værtshus samt tømrer- og smedestuer. Van Cortlandt Manor var et selvforsynende samfund, mens Pierre og hans familie boede på godset. På dette tidspunkt var der imidlertid spændinger, der førte til revolutionskrigen, og herregården skulle blive et sted, hvor de trak sig tilbage i krigstiden. Pierre tog parti for kolonierne, og herregården blev brugt til at hjælpe den kontinentale hær, idet den brugte sine ressourcer til at fremstille mad og forsyninger. Pierre var involveret i den militære lovgivning, og hans søn Philip var soldat for den kontinentale hær. Til sidst forlod Pierre og hans familie herregården midt under krigen. Herregården blev plyndret af den britiske hær og efterladt i dårlig stand. Philip, der blev brigadegeneral ved krigens afslutning, vendte tilbage og bragte sammen med sin søster, Catherine, herregården i stand igen.

Van Cortlandt Manor blev et vigtigt stop på ruten fra New York til Albany i årene efter krigen. Møllerne var igen blomstrende og forsynede samfundet og de rejsende med mad, forsyninger og logi. Pierre og hans kone vendte først tilbage i 1803, da herregården igen var fuldt funktionsdygtig. Herregården gik i arv i familien, indtil den blev solgt til en ikke-slægtning, Otis Taylor, i 1945. På dette tidspunkt havde ejendommen mistet sin glans og var ikke længere den blomstrende ejendom, som den engang havde været. Nogle bygninger og staldbygninger blev revet ned for at give plads til mere moderne faciliteter, f.eks. et biografhus.

I 1953 købte John D. Rockefeller Jr. ejendommen og begyndte at genoprette herregården til den tidligere fremtrædende position. I 1961 blev Van Cortlandt Manor registreret som et nationalt historisk vartegn.

Huset er ikke inkluderet i området Cortlandt Manor, New York. Det er et af de palæer, der indgår i Historic Hudson Valley.