Knihovnu Peabodyho institutu financoval George Peabody (1795-1869). Peabody, který se v Baltimoru stal díky obchodu v 10. a 20. letech 19. století bohatým mužem, po krátké službě ve státní milici, která bránila město před slavným britským útokem během války v roce 1812, „věnoval v únoru 1857 300 000 dolarů jako počáteční částku pro Peabodyho institut“. Institut měl být původně otevřen v roce 1860, ale konflikt mezi pohraničními státy v regionu způsobený americkou občanskou válkou oddálil jeho založení a výstavbu až do roku 1866, kdy Peabody věnoval první segment západního křídla nového Peabodyho institutu občanům Baltimoru jako poděkování za jejich laskavost a pohostinnost. Institut byl navržen jako kulturní centrum města Baltimore a počítalo se v něm s uměleckou galerií, hudební školou, cyklem veřejných přednášek, sérií peněžních odměn se zlatými medailemi známými jako „Peabodyho ceny“ pro nejlepší absolventy tří tehdejších veřejných středních škol ve městě (jedna chlapecká na Central High – nyní Baltimore City College – a dvě dívčí na Eastern a Western High Schools) a také s veřejnou necirkulující příruční knihovnou, která byla později v letech 1876-1878 přesunuta do druhého přistavěného segmentu ve východním křídle. Toto původní západní křídlo Peabodyho institutu bylo otevřeno v roce 1866, kdy pana Peabodyho, tehdy dlouholetého obyvatele nejprve New Yorku a poté Londýna v Anglii, vítaly shromážděné tisíce dětí z baltimorských městských veřejných škol, když stál na schodech své památné budovy s výhledem na kruh u Washingtonova památníku ve čtvrti Mount Vernon-Belvedere, a současná budova knihovny ve východním křídle byla navržena ve stejném identickém stylu slavným místním architektem Edmundem G. Lindem a veřejnosti byla otevřena v roce 1878. Knihovna zůstala součástí Peabodyho institutu až do roku 1967, kdy byla převedena na město Baltimore a stala se oddělením nedaleké Enoch Pratt Free Library na Cathedral Street, městské a státní bezplatné veřejné knihovny (nejstarší v Americe), kterou v letech 1882-1886 založil a dotoval přítel George Peabodyho a jeho kolega z Bay Stater Enoch Pratt (1808-1896). V roce 1982 byla převedena na Univerzitu Johnse Hopkinse a stala se součástí oddělení speciálních sbírek Eisenhowerovy knihovny v kampusu Homewood a součástí systému Sheridanových knihoven JHU jako samotný Peabodyho institut přidružený k Hopkinsově univerzitě.