By Royal Charter, Van Cortlandt Manor był pierwotnie 86,000-akrowy (35,000 ha) trakt przyznany jako Patent do Stephanus Van Cortlandt w 1697 roku przez króla Wilhelma III, rozciągającym się od rzeki Hudson na zachodzie do pierwszej linii granicznej między prowincją Nowy Jork a kolonią Connecticut na wschodzie, o długości 20 mil angielskich na 10 szerokości, w kształcie zbliżonym do prostokątnego równoległoboku, tworzącym „The Manor of Cortlandt”.” To ogromne gospodarstwo zostało nabyte bezpośrednio od Indian, częściowo przez Stephanusa van Cortlandta, urodzonego w Holandii dżentelmena z Nowego Jorku, a częściowo przez innych, których tytuły własności później nabył, ten trakt, wraz z małym traktem na zachodnim brzegu rzeki Hudson, naprzeciwko cypla Anthony’s Nose, który również nabył od Indian.

Dworek został zbudowany gdzieś przed 1732 rokiem, ale nie był główną rezydencją żadnego właściciela, dopóki wnuk, Pierre Van Cortlandt, nie wprowadził się tam w 1749 roku. W tym czasie dwór znajdował się na 1000-akrowej (405 ha) części oryginalnego traktu.

Pierre sprowadził swoją rodzinę do posiadłości w 1749 roku i ustanowił dwór w jego najbardziej energicznych dniach, według niektórych. W tym okresie dwór prowadził sad jabłoniowy, farmę mleczną, pszczelarnię, piec, tawernę oraz warsztaty stolarskie i kowalskie. Van Cortlandt Manor był samowystarczalną społecznością, gdy Pierre i jego rodzina mieszkali w posiadłości. Jednak w tym czasie narastało napięcie prowadzące do Wojny Rewolucyjnej i posiadłość stała się miejscem wojennego odosobnienia. Pierre opowiedział się po stronie kolonii i posiadłość została wykorzystana do pomocy Armii Kontynentalnej, wykorzystując jej zasoby do produkcji żywności i zaopatrzenia. Pierre był zaangażowany w ustawodawstwo wojskowe, a jego syn Philip był żołnierzem Armii Kontynentalnej. Ostatecznie Pierre i jego rodzina opuścili posiadłość w samym środku wojny. Dwór został splądrowany przez armię brytyjską i pozostawiony w złym stanie. Philip, który pod koniec wojny został generałem brygady, powrócił i wraz z siostrą, Catherine, przywrócił posiadłość do stanu używalności.

Van Cortlandt Manor stał się ważnym przystankiem na trasie z Nowego Jorku do Albany w latach, które nastąpiły po wojnie. Młyny znów dobrze prosperowały i dostarczały społeczności i podróżnym żywności, zapasów i noclegów. Pierre i jego żona wrócili dopiero w 1803 roku, gdy dwór znów był w pełni sprawny. Dwór był przekazywany w rodzinie aż do momentu, gdy w 1945 roku został sprzedany niespokrewnionemu z nimi Otisowi Taylorowi. Do tego czasu posiadłość straciła blask i nie była już tak kwitnącym majątkiem, jak kiedyś. Niektóre budynki i stodoły zostały rozebrane, aby pomieścić bardziej nowoczesne obiekty, takie jak dom filmowy.

W 1953 roku John D. Rockefeller Jr. zakupił posiadłość i rozpoczął przywracanie jej dawnej świetności. W 1961 roku, Van Cortlandt Manor został zarejestrowany jako National Historic Landmark.

Dom nie jest zawarty w obszarze Cortlandt Manor, New York. Jest to jedna z rezydencji włączonych do Historic Hudson Valley.