Van Cortlandt Manor var ursprungligen ett 35 000 hektar stort område som kung William III beviljade Stephanus Van Cortlandt som patent 1697, som sträcker sig från Hudsonfloden i väster till den första gränslinjen mellan provinsen New York och kolonin Connecticut i öster, tjugo engelska mil på längden och tio på bredden, med en form som nästan är ett rektangulärt parallellogram, och som bildar ”The Manor of Cortlandt”.” Det massiva innehavet förvärvades genom direkt köp från indianerna, delvis av Stephanus van Cortlandt, en inhemsk nederländsk gentleman från New York, och delvis av andra vars titlar han senare köpte, detta område tillsammans med ett litet område på västra sidan av Hudsonfloden mittemot udden Anthony’s Nose, som han också köpte från indianerna.

Manor House byggdes någon gång före 1732 men var inte någon ägares huvudbostad förrän en sonson, Pierre Van Cortlandt, flyttade dit 1749. Vid den tiden låg herrgården på en 405 hektar stor del av det ursprungliga området.

Pierre tog med sig sin familj till godset 1749 och etablerade herrgården i dess mest livfulla dagar, enligt vissa. Under denna period drev herrgården en äppelodling, en mjölkgård, ett bihus, en ugn, en krog samt snickarverkstäder och smedjor. Van Cortlandt Manor var ett självförsörjande samhälle medan Pierre och hans familj bodde på godset. Vid denna tid byggdes dock de spänningar som ledde till frihetskriget upp och herrgården skulle bli en plats för krigsreträtt. Pierre ställde sig på koloniernas sida och herrgården användes för att hjälpa den kontinentala armén genom att använda dess resurser för att tillverka mat och förnödenheter. Pierre var involverad i militära lagstiftningar och hans son Philip var soldat i den kontinentala armén. Så småningom lämnade Pierre och hans familj herrgården mitt i kriget. Herrgården plundrades av den brittiska armén och lämnades i dåligt skick. Philip, som blev brigadgeneral vid krigsslutet, återvände och tillsammans med sin syster Catherine fick han herrgården att fungera igen.

Van Cortlandt Manor blev ett viktigt stopp på vägen från New York till Albany under åren efter kriget. Kvarnarna var återigen blomstrande och försåg samhället och resenärerna med mat, förnödenheter och logi. Pierre och hans fru återvände inte förrän 1803 när herrgården åter var fullt fungerande igen. Herrgården gick i arv i familjen tills den såldes till en icke släkting, Otis Taylor, 1945. Vid denna tidpunkt hade egendomen förlorat sin glans och var inte det blomstrande gods den en gång hade varit. Vissa byggnader och ladugårdar revs för att ge plats åt modernare anläggningar, till exempel ett biografhus.

1953 köpte John D. Rockefeller Jr. egendomen och började återställa herrgården till tidigare glans. År 1961 registrerades Van Cortlandt Manor som ett nationellt historiskt landmärke.

Huset ingår inte i området Cortlandt Manor, New York. Det är en av de herrgårdar som ingår i Historic Hudson Valley.