The Peabody Institute Library blev finansieret af George Peabody (1795-1869). Peabody, der var blevet en velhavende mand i Baltimore gennem handel i 1810’erne og 20’erne efter sin korte tjeneste i statsmilitsen, der forsvarede byen mod det berømte britiske angreb under 1812-krigen, “gav 300.000 dollars som en begyndelsessum til Peabody Institute” i februar 1857. Instituttet var oprindeligt planlagt til at åbne i 1860, men konflikter mellem grænsestaterne i regionen som følge af den amerikanske borgerkrig forsinkede etableringen og opførelsen indtil 1866, hvor Peabody indviede den første del af den vestlige fløj af det nye Peabody Institute til borgerne i Baltimore som tak for deres venlighed og gæstfrihed. Instituttet skulle være et kulturelt center for byen Baltimore med planer om et kunstgalleri, en musikskole, en offentlig foredragsrække, en række pengepræmier med guldmedaljer kendt som “Peabody-priser” til de bedste kandidater fra byens daværende tre offentlige gymnasier (et for drenge på Central High – nu Baltimore City College – og to for piger på Eastern og Western High Schools) samt et offentligt, ikke-udleverende referencebibliotek, som senere blev flyttet til det andet tilknyttede segment i den østlige fløj i 1876-1878. Den oprindelige vestlige fløj af Peabody Institute åbnede i 1866, da hr. Peabody, der dengang havde boet længe i først New York City og siden London, England, blev hilst velkommen af de tusindvis af børn fra Baltimore City Public School, da han stod på trappen til sin skelsættende bygning med udsigt over Washington-monumentet i Mount Vernon-Belvedere-kvarteret, og den nuværende biblioteksbygning i den østlige fløj blev designet i samme identiske stil af den berømte lokale arkitekt Edmund G. Lind, som åbnede for offentligheden i 1878. Biblioteket forblev en del af Peabody Institute indtil 1967, hvor det blev overført til byen Baltimore og blev en afdeling i det nærliggende Enoch Pratt Free Library på Cathedral Street, byens og delstatens gratis offentlige bibliotekssystem (det ældste i Amerika), som var blevet grundlagt og støttet i 1882-1886 af George Peabodys ven og landsmand fra Bay Stater, Enoch Pratt (1808-1896). Det blev overført til The Johns Hopkins University i 1982 og blev en del af Eisenhower Library’s Special Collections afdeling på Homewood campus og en del af JHU Sheridan Libraries systemet, da Peabody Institute selv blev tilknyttet Hopkins.