Původně se jednalo o panství o rozloze 86 000 akrů (35 000 ha), které král Vilém III. v roce 1697 udělil jako patent Stephanu Van Cortlandtovi, táhnoucí se od řeky Hudson na západě k první hraniční čáře mezi provincií New York a kolonií Connecticut na východě, dvacet anglických mil na délku a deset na šířku, ve tvaru téměř pravoúhlého rovnoběžníku, tvořící „panství Cortlandt“.“ Toto mohutné panství získal přímou koupí od indiánů zčásti Stephanus van Cortlandt, rodilý holandský šlechtic z New Yorku, a zčásti od jiných, jejichž vlastnická práva následně odkoupil, tento trakt spolu s malým traktem na západní straně řeky Hudson naproti výběžku Anthony’s Nose, který rovněž koupil od indiánů.

Dům Manor House byl postaven někdy před rokem 1732, ale nebyl hlavním sídlem žádného majitele, dokud se tam v roce 1749 nenastěhoval vnuk Pierre Van Cortlandt. V té době se panství nacházelo na části původního pozemku o rozloze 1 000 akrů (405 ha).

Pierre přivedl v roce 1749 na panství svou rodinu a podle některých založil panství do jeho nejživějších dnů. V tomto období byl na panství provozován jabloňový sad, mléčná farma, včelín, pec, hostinec a tesařská a kovářská dílna. Van Cortlandt Manor byl soběstačnou komunitou, dokud na panství pobýval Pierre a jeho rodina. V té době však narůstalo napětí vedoucí k revoluční válce a panství se mělo stát místem válečného útočiště. Pierre se postavil na stranu kolonií a panství pomáhalo kontinentální armádě a využívalo své zdroje k výrobě potravin a zásob. Pierre se podílel na vojenském zákonodárství a jeho syn Philip byl vojákem kontinentální armády. Nakonec Pierre a jeho rodina v době vrcholící války panství opustili. Panství bylo vypleněno britskou armádou a ponecháno ve špatném stavu. Philip, který se na konci války stal brigádním generálem, se vrátil a spolu se svou sestrou Catherine uvedl panství opět do provozuschopného stavu.

Van Cortlandt Manor se v následujících letech po válce stal důležitou zastávkou na trase z New Yorku do Albany. Mlýny opět vzkvétaly a poskytovaly obci i cestujícím potraviny, zásoby a ubytování. Pierre a jeho žena se vrátili až v roce 1803, jakmile bylo panství opět plně funkční. Panství se dědilo v rodině až do roku 1945, kdy bylo prodáno nepříbuznému Otisi Taylorovi. V té době již majetek ztratil lesk a nebyl tak prosperujícím sídlem jako kdysi. Některé budovy a stodoly byly zbourány, aby mohly být využity pro modernější zařízení, například pro kino.

V roce 1953 koupil panství John D. Rockefeller mladší a začal obnovovat jeho dřívější lesk. V roce 1961 byl Van Cortlandt Manor zapsán jako národní historická památka.

Dům není zahrnut do oblasti Cortlandt Manor ve státě New York. Je jedním z panských sídel zařazených do oblasti Historic Hudson Valley.