Peabody-instituutin kirjaston rahoitti George Peabody (1795-1869). Peabody, josta oli tullut varakas mies Baltimoressa kaupankäynnin kautta 1810- ja 20-luvuilla sen jälkeen, kun hän oli lyhyen aikaa palvellut osavaltion miliisijoukoissa, jotka puolustivat kaupunkia kuuluisaa brittiläistä hyökkäystä vastaan vuoden 1812 sodan aikana, ”lahjoitti helmikuussa 1857 300 000 dollaria alkusummana Peabody-instituuttia varten”. Instituutti oli alun perin suunniteltu avattavaksi vuonna 1860, mutta Yhdysvaltain sisällissodan aiheuttamat rajavaltioiden väliset konfliktit alueella viivästyttivät sen perustamista ja rakentamista vuoteen 1866 asti, jolloin Peabody omisti uuden Peabody-instituutin ensimmäisen segmentin länsisiiven Baltimoren asukkaille kiitokseksi heidän ystävällisyydestään ja vieraanvaraisuudestaan. Instituutti suunniteltiin Baltimoren kaupungin kulttuurikeskukseksi, ja siihen suunniteltiin taidegalleriaa, musiikkikoulua, julkista luentosarjaa, sarjaa rahapalkintoja ja kultamitaleita, jotka tunnettiin nimellä ”Peabody Prizes” (Peabody-palkinnot), jotka myönnettiin kaupungin kolmen silloisen julkisen lukion parhaille tutkinnon suorittaneille (yksi pojille Central High High:ssa, joka on nykyisin Baltimore City Collegen koulu, ja kaksi tytöille Eastern- ja Western High Schoolien kouluihin), sekä julkista, ei-kiertävää kirjastoa, joka siirrettiin myöhemmin itäisen siiven toiseen osaston toiseen osastoon vuosina 1876-1878. Alkuperäinen Peabody-instituutin länsisiipi avattiin vuonna 1866, kun tuhannet Baltimore Cityn julkisten koulujen lapset tervehtivät herra Peabodya, joka asui tuolloin pitkään ensin New Yorkissa ja sitten Lontoossa, Englannissa, kun hän seisoi maamerkkirakennuksensa portailla Washingtonin muistomerkin ympyrällä Mount Vernon-Belvederen kaupunginosassa, ja nykyiset kirjastorakennuksen itäsiiven rakennukset suunnitteli samassa identtisessä tyylisuunnittelussa kuuluisa paikallinen arkkitehti Edmund G. Lind, ja ne avattiin yleisölle vuonna 1878. Kirjasto oli osa Peabody-instituuttia vuoteen 1967 asti, jolloin se siirrettiin Baltimoren kaupungille ja siitä tuli Cathedral Streetillä sijaitsevan läheisen Enoch Pratt Free Library -kirjaston osasto. Kyseessä on kaupungin ja osavaltion maksuton julkinen kirjastojärjestelmä (Amerikan vanhin), jonka George Peabodyn ystävä ja Bay Staterin asukastoveri Enoch Pratt (1808-1896) oli perustanut ja lahjoittanut vuosina 1882-1886. Se siirrettiin Johns Hopkinsin yliopistolle vuonna 1982, ja siitä tuli osa Eisenhower-kirjaston erikoiskokoelmien osastoa Homewoodin kampuksella ja osa JHU:n Sheridan-kirjastojärjestelmää, kun Peabody-instituutti itse liittyi Hopkinsiin.