De bibliotheek van het Peabody Institute werd gefinancierd door George Peabody (1795-1869). Peabody, die in de jaren 1810 en 20 een rijk man in Baltimore was geworden door de handel, nadat hij kort in dienst was geweest van het staatsmilitie dat de stad verdedigde tegen de beroemde Britse aanval tijdens de oorlog van 1812, “schonk $300.000 als beginbedrag voor het Peabody Institute” in februari 1857. De opening van het instituut was oorspronkelijk gepland voor 1860, maar grensconflicten in de regio als gevolg van de Amerikaanse burgeroorlog vertraagden de oprichting en de bouw tot 1866, toen Peabody het eerste segment van de West Wing van het nieuwe Peabody Institute opdroeg aan de burgers van Baltimore als dank voor hun vriendelijkheid en gastvrijheid. Het instituut was ontworpen als cultureel centrum voor de stad Baltimore, met plannen voor een kunstgalerie, een muziekschool, een serie openbare lezingen, een reeks geldprijzen met gouden medailles, bekend als “Peabody Prizes” voor de beste leerlingen van de toenmalige drie openbare middelbare scholen van de stad (één voor jongens op Central High – nu Baltimore City College – en twee voor meisjes op Eastern en Western High Schools), alsmede een openbare, niet in omloop zijnde naslagbibliotheek, die later in 1876-1878 naar het tweede aangebouwde segment in de oostvleugel werd overgebracht. De oorspronkelijke westvleugel van het Peabody Institute werd in 1866 geopend toen Mr. Peabody, die toen al lang in New York City en daarna in Londen (Engeland) woonde, werd begroet door de verzamelde duizenden kinderen van de Baltimore City Public School toen hij op de trappen van zijn monumentale gebouw stond met uitzicht op de cirkel bij het Washington Monument in de Mount Vernon-Belvedere buurt. De huidige bibliotheekstructuur in de oostvleugel werd in dezelfde identieke stijl ontworpen door de befaamde plaatselijke architect Edmund G. Lind en werd in 1878 voor het publiek geopend. De bibliotheek bleef deel uitmaken van het Peabody Institute tot 1967, toen zij werd overgedragen aan de stad Baltimore en een afdeling werd van de nabijgelegen Enoch Pratt Free Library aan Cathedral Street, het gratis openbare bibliotheeksysteem van de stad en de staat (de oudste in Amerika), dat in 1882-1886 was opgericht en begiftigd door George Peabody’s vriend en mede-Bay Stater, Enoch Pratt, (1808-1896). Het werd in 1982 overgedragen aan The Johns Hopkins University en werd onderdeel van de afdeling Speciale Collecties van de Eisenhower Library op de Homewood campus en onderdeel van het JHU Sheridan Libraries systeem als het Peabody Institute zelf aangesloten bij Hopkins.