Die Peabody Institute Library wurde von George Peabody (1795-1869) finanziert. Peabody, der in den 1810er und 20er Jahren durch den Handel in Baltimore zu einem wohlhabenden Mann geworden war, spendete nach seinem kurzen Dienst in der staatlichen Miliz, die die Stadt gegen den berühmten britischen Angriff während des Krieges von 1812 verteidigte, im Februar 1857 „300.000 Dollar als Anfangssumme für das Peabody Institute“. Ursprünglich sollte das Institut 1860 eröffnet werden, doch die durch den Amerikanischen Bürgerkrieg ausgelösten Grenzkonflikte in der Region verzögerten die Gründung und den Bau bis 1866, als Peabody das erste Segment des Westflügels des neuen Peabody-Instituts den Bürgern von Baltimore als Dank für ihre Freundlichkeit und Gastfreundschaft widmete. Das Institut sollte ein kulturelles Zentrum für die Stadt Baltimore werden, mit Plänen für eine Kunstgalerie, eine Musikschule, eine öffentliche Vortragsreihe, eine Reihe von Geldpreisen mit Goldmedaillen, bekannt als „Peabody-Preise“, für die besten Absolventen der damals drei öffentlichen High Schools der Stadt (eine für Jungen an der Central High – jetzt Baltimore City College – und zwei für Mädchen an den Eastern und Western High Schools) sowie eine öffentliche, nicht zirkulierende Präsenzbibliothek, die später in das zweite angebaute Segment im Ostflügel in den Jahren 1876-1878 verlegt wurde. Der ursprüngliche Westflügel des Peabody-Instituts wurde 1866 eröffnet, als Mr. Peabody, der damals lange in New York City und später in London, England, lebte, von Tausenden von Schülern der öffentlichen Schulen von Baltimore begrüßt wurde, als er auf den Stufen seines denkmalgeschützten Gebäudes stand und den Kreis um das Washington Monument im Stadtteil Mount Vernon-Belvedere überblickte. Die heutige Bibliotheksstruktur im Ostflügel wurde im gleichen Stil von dem berühmten örtlichen Architekten Edmund G. Lind entworfen und 1878 eröffnet. Die Bibliothek blieb bis 1967 Teil des Peabody-Instituts, als sie an die Stadt Baltimore übertragen und zu einer Abteilung der nahe gelegenen Enoch Pratt Free Library in der Cathedral Street wurde. Die Enoch Pratt Free Library ist das älteste öffentliche Bibliothekssystem der Stadt und des Bundesstaates Baltimore und wurde 1882-1886 von George Peabodys Freund und Landsmann aus Bay Stater, Enoch Pratt (1808-1896), gegründet und gestiftet. Sie wurde 1982 an die Johns Hopkins University übertragen und wurde Teil der Abteilung für Sondersammlungen der Eisenhower Library auf dem Homewood-Campus und Teil des JHU Sheridan Libraries Systems, da das Peabody Institute selbst mit Hopkins verbunden ist.