Kuninkaallisen peruskirjan mukaan Van Cortlandtin kartano oli alun perin 86 000 hehtaarin (35 000 hehtaarin) suuruinen alue, jonka kuningas William III myönsi patenttina Stephanus Van Cortlandtille vuonna 1697, joka ulottui Hudson-joelta lännessä New Yorkin provinssin ja Connecticutin siirtokunnan välisestä ensimmäisestä rajaviivasta idässä, oli 20 englantilaista mailia pitkä ja 10 mailia leveä, muodoltaan lähes suorakaiteen muotoinen rinnakkaislohko ja muodosti ”Cortlandtin kartanon” (The Manor of Cortlandt).” Massiivisen tilan osti suoraan intiaaneilta Stephanus van Cortlandt, syntyperäinen hollantilainen New Yorkin herrasmies, ja osittain muut, joiden omistusoikeudet hän myöhemmin osti, yhdessä pienen Hudson-joen länsipuolella sijaitsevan pienen alueen kanssa, joka sijaitsee vastapäätä Anthony’s Nose -nimistä niemekettä ja jonka hän myös osti intiaaneilta.

Kartano rakennettiin joskus ennen vuotta 1732, mutta se ei ollut kenenkään omistajan pääasiallinen asuinpaikka ennen kuin pojanpoika Pierre Van Cortlandt muutti sinne vuonna 1749. Tuolloin kartano sijaitsi 1 000 hehtaarin (405 hehtaarin) suuruisella osuudella alkuperäisestä tilasta.

Pierre toi perheensä tilalle vuonna 1749 ja perusti kartanon joidenkin mukaan sen elinvoimaisimpiin päiviin. Tänä aikana kartanolla toimi omenatarha, maitotila, mehiläistarha, uuni, taverna sekä puusepän- ja sepänverstas. Van Cortlandtin kartano oli itsenäinen yhteisö, kun Pierre perheineen asui kartanossa. Tuohon aikaan vallankumoussotaan johtavat jännitteet olivat kuitenkin kasvamassa, ja kartanosta tulisi sota-aikana vetäytymispaikka. Pierre asettui siirtomaiden puolelle, ja kartanoa käytettiin Manner-Euroopan armeijan avustamiseen, ja sen resursseja käytettiin elintarvikkeiden ja tarvikkeiden valmistukseen. Pierre oli mukana sotilaallisessa lainsäädännössä, ja hänen poikansa Philip oli Manner-Euroopan armeijan sotilas. Lopulta Pierre ja hänen perheensä lähtivät kartanosta sodan keskellä. Brittiarmeija ryösti kartanon ja jätti sen huonoon kuntoon. Philip, josta oli sodan päättyessä tullut prikaatikenraali, palasi takaisin ja saattoi yhdessä sisarensa Catherinen kanssa kartanon jälleen toimintakuntoon.

Van Cortlandtin kartanosta tuli sodan jälkeisinä vuosina tärkeä pysähdyspaikka reitillä New Yorkista Albanyyn. Myllyt kukoistivat jälleen ja tarjosivat yhteisölle ja matkustajille ruokaa, tarvikkeita ja majoitusta. Pierre ja hänen vaimonsa palasivat vasta vuonna 1803, kun kartano oli jälleen täysin toimintakunnossa. Kartano periytyi suvussa, kunnes se myytiin muulle kuin sukulaiselle, Otis Taylorille, vuonna 1945. Siihen mennessä kartano oli menettänyt loistonsa, eikä se ollut enää se kukoistava kartano, joka se kerran oli ollut. Joitakin rakennuksia ja navettarakennuksia purettiin nykyaikaisempien tilojen, kuten elokuvateatterin, vuoksi.

Vuonna 1953 John D. Rockefeller Jr. osti kartanon ja alkoi kunnostaa kartanoa entiseen loistoonsa. Vuonna 1961 Van Cortlandtin kartano rekisteröitiin kansalliseksi historialliseksi maamerkiksi.

Talo ei kuulu New Yorkin Cortlandt Manorin alueeseen. Se on yksi Historic Hudson Valley -alueeseen kuuluvista kartanoista.