A Peabody Intézet könyvtárát George Peabody (1795-1869) finanszírozta. Peabody, aki az 1810-es és 20-as évek kereskedelme révén gazdag emberré vált Baltimore-ban, miután rövid ideig szolgált az állami milíciában, amely az 1812-es háborúban a várost védte a híres brit támadás ellen, 1857 februárjában “300 000 dollárt adott kezdőösszegként a Peabody Intézetnek”. Az intézet megnyitását eredetileg 1860-ra tervezték, de az amerikai polgárháború okozta határ-állami konfliktus a térségben késleltette a megalapítást és az építkezést egészen 1866-ig, amikor Peabody az új Peabody Intézet első szegmensének nyugati szárnyát Baltimore polgárainak ajánlotta fel kedvességük és vendégszeretetük elismeréseként. Az intézetet Baltimore városának kulturális központjává tervezték, művészeti galériát, zeneiskolát, nyilvános előadássorozatot, a város akkori három állami középiskolájának legjobb végzősei számára “Peabody-díjak” néven aranyérmekkel járó pénzjutalom-sorozatot (egy a fiúk számára a Central High – ma Baltimore City College – és kettő a lányok számára az Eastern és Western High Schoolban), valamint egy nyilvános, nem nyilvános kézikönyvtárat, amelyet később, 1876-1878-ban a keleti szárny második, hozzáépített szegmensébe helyeztek át. Ez az eredeti Peabody Intézet nyugati szárnya 1866-ban nyílt meg, amikor Peabody urat, aki akkor már régóta előbb New York Cityben, majd Londonban, Angliában élt, az összegyűlt több ezer baltimore-i városi állami iskolás köszöntötte, amikor a Mount Vernon-Belvedere negyedben, a Washington-emlékmű körútjára néző, mérföldkőnek számító épületének lépcsőjén állt, és a keleti szárnyban lévő jelenlegi könyvtárépületet a híres helyi építész, Edmund G. Lind tervezte ugyanebben az azonos stílusban, amelyet 1878-ban nyitottak meg a nagyközönség előtt. A könyvtár 1967-ig a Peabody Intézet része maradt, amikor is átkerült Baltimore városához, és a közeli, Cathedral Street-i Enoch Pratt Free Library egyik részlegévé vált, amely a város és az állam ingyenes nyilvános könyvtári rendszere (a legrégebbi Amerikában), amelyet 1882-1886-ban George Peabody barátja és Bay Stater-i társa, Enoch Pratt (1808-1896) alapított és dotált. 1982-ben került át a Johns Hopkins Egyetemhez, és az Eisenhower Könyvtár Különleges Gyűjtemények részlegének része lett a Homewood-i campuson, valamint a JHU Sheridan Könyvtárak rendszerének része, mivel maga a Peabody Intézet is a Hopkinshoz csatlakozott.

A könyvtárat 1982-ben a Johns Hopkins Egyetemhez csatolták.