Prin Carta Regală, Van Cortlandt Manor a fost inițial un teren de 86.000 de acri (35.000 ha) acordat ca brevet lui Stephanus Van Cortlandt în 1697 de către regele William al III-lea, care se întindea de la râul Hudson, la vest, până la prima linie de demarcație dintre provincia New York și colonia Connecticut, la est, cu o lungime de douăzeci de mile englezești și o lățime de zece mile, având forma unui paralelogram aproape dreptunghiular, formând „Conacul Cortlandt”.” Exploatarea masivă a fost dobândită prin cumpărare directă de la indieni, în parte de Stephanus van Cortlandt, un gentleman olandez născut în New York, și în parte de către alte persoane ale căror titluri de proprietate le-a cumpărat ulterior, această suprafață, împreună cu o mică suprafață pe partea de vest a râului Hudson, vizavi de promontoriul Anthony’s Nose, pe care a cumpărat-o tot de la indieni.

Casa conacului a fost construită cândva înainte de 1732, dar nu a fost reședința principală a niciunui proprietar până când un nepot, Pierre Van Cortlandt, s-a mutat acolo în 1749. La acea vreme, conacul se afla pe o porțiune de 1.000 de acri (405 ha) din terenul original.

Pierre și-a adus familia pe moșie în 1749 și a stabilit conacul în cele mai vibrante zile ale sale, potrivit unora. În această perioadă, la conac funcționau o livadă de mere, o fermă de lactate, o casă de albine, un cuptor, o tavernă și ateliere de tâmplărie și fierărie. Conacul Van Cortlandt a fost o comunitate autosuficientă în timp ce Pierre și familia sa au locuit la moșie. În această perioadă, însă, tensiunile care duceau la Războiul de Independență se intensificau, iar conacul avea să devină un loc de retragere pe timp de război. Pierre a trecut de partea coloniilor, iar conacul a fost folosit pentru a ajuta armata continentală, folosindu-se de resursele sale pentru a produce alimente și provizii. Pierre a fost implicat în legislatura militară, iar fiul său, Philip, a fost soldat al Armatei Continentale. În cele din urmă, Pierre și familia sa au părăsit conacul în plin război. Conacul a fost jefuit de armata britanică și lăsat în paragină. Philip, care a devenit general de brigadă la sfârșitul războiului, s-a întors și, împreună cu sora sa, Catherine, a readus conacul în stare de funcționare.

Van Cortlandt Manor a devenit o oprire esențială pe ruta de la New York la Albany în anii care au urmat războiului. Morile erau din nou înfloritoare și asigurau comunității și călătorilor hrană, provizii și cazare. Pierre și soția sa nu s-au întors până în 1803, odată ce conacul a fost din nou în stare de funcționare. Conacul a fost transmis în familie până când a fost vândut unui nefamiliar, Otis Taylor, în 1945. În acest moment, proprietatea își pierduse din strălucire și nu mai era domeniul înfloritor care fusese cândva. Unele clădiri și hambare au fost dărâmate pentru a face loc unor facilități mai moderne, cum ar fi un cinematograf.

În 1953, John D. Rockefeller Jr. a cumpărat proprietatea și a început să restaureze conacul la proeminența anterioară. În 1961, Conacul Van Cortlandt a fost înregistrat ca monument istoric național.

Casa nu este inclusă în zona Cortlandt Manor, New York. Este unul dintre conacele incluse în zona Historic Hudson Valley.

.