Por Carta Real, Van Cortlandt Manor era originalmente um tractor de 86.000 acres (35.000 ha) concedido como Patente a Stephanus Van Cortlandt em 1697 pelo Rei Guilherme III, que se estende desde o rio Hudson, a oeste, até à primeira linha de fronteira entre a Província de Nova Iorque e a Colónia de Connecticut, a leste, vinte milhas de comprimento por dez de largura, em forma de quase um paralelogramo rectangular, formando, “The Manor of Cortlandt”.” A participação maciça foi adquirida por compra directa aos índios, em parte, por Stephanus van Cortlandt, um cavalheiro holandês nascido em Nova Iorque, e em parte por outros cujos títulos comprou posteriormente, este tractor, juntamente com um pequeno tractor no lado oeste do rio Hudson, em frente ao promontório do Nariz de Anthony, que também comprou aos índios.

A Manor House foi construída algum tempo antes de 1732 mas não era a residência principal de nenhum dono até que um neto, Pierre Van Cortlandt, se mudou para lá em 1749. Naquela época a casa senhorial ficava numa porção de 1.000 acres (405 ha) do trato original.

Pierre trouxe sua família para a propriedade em 1749 e estabeleceu o casarão em seus dias mais vibrantes, de acordo com alguns. Durante esse período, o casarão operava um pomar de maçãs, uma fazenda de laticínios, uma casa de abelhas, um forno, uma taberna e lojas de carpinteiros e ferreiros. Van Cortlandt Manor era uma comunidade auto-sustentável, enquanto Pierre e sua família residiam na propriedade. Nessa época, porém, as tensões que levavam à Guerra Revolucionária estavam se formando e a mansão se tornaria um lugar de retiro em tempo de guerra. Pierre ficou do lado das colônias e o casarão foi usado para ajudar o Exército Continental, usando seus recursos para fazer comida e suprimentos. Pierre estava envolvido com a legislatura militar, e seu filho Philip era um soldado do Exército Continental. Pierre e a sua família acabaram por desocupar a mansão no meio da guerra. A mansão foi saqueada pelo Exército Britânico e deixada em péssimo estado. Philip, tornando-se um general brigadeiro no final da guerra, voltou e, juntamente com sua irmã, Catherine, levou o casarão de volta à ordem de trabalho.

Van Cortlandt Manor tornou-se uma parada essencial na rota de Nova York para Albany nos anos que se seguiram à guerra. Os moinhos voltaram a prosperar e forneceram à comunidade e aos viajantes comida, mantimentos e alojamento. Pierre e sua esposa não voltaram até 1803, uma vez que o casarão estava novamente em pleno funcionamento. A mansão foi passada para a família até ser vendida a um não-religioso, Otis Taylor, em 1945. Nessa altura, a propriedade tinha perdido o brilho, e não era a propriedade florescente que tinha sido em tempos. Alguns edifícios e casas de celeiro foram derrubados para acomodar instalações mais modernas, como uma casa de cinema.

Em 1953 John D. Rockefeller Jr. comprou a propriedade e começou a restaurar o casarão para a proeminência anterior. Em 1961, Van Cortlandt Manor foi registrada como um marco histórico nacional.

A casa não está incluída na área de Cortlandt Manor, Nova York. É uma das mansões incluídas em Historic Hudson Valley.