La Biblioteca del Instituto Peabody fue financiada por George Peabody (1795-1869). Peabody, que se había convertido en un hombre rico en Baltimore gracias al comercio durante los años 1810 y 20, tras su breve servicio en la milicia estatal que defendía la ciudad contra el famoso ataque británico durante la Guerra de 1812, «donó 300.000 dólares como suma inicial para el Instituto Peabody» en febrero de 1857. En un principio estaba previsto que el Instituto abriera sus puertas en 1860, pero los conflictos entre estados fronterizos de la región provocados por la Guerra Civil estadounidense retrasaron su establecimiento y construcción hasta 1866, cuando Peabody dedicó el primer segmento del Ala Oeste del nuevo Instituto Peabody a los ciudadanos de Baltimore en agradecimiento a su amabilidad y hospitalidad. El Instituto fue diseñado para ser un centro cultural para la ciudad de Baltimore, con planes para una galería de arte, una escuela de música, una serie de conferencias públicas, una serie de premios en metálico con medallas de oro conocidos como «Premios Peabody» para los mejores graduados de los entonces tres institutos públicos de la ciudad (uno de chicos en el Central High -ahora Baltimore City College- y dos de chicas en los institutos Eastern y Western), así como una biblioteca pública de referencia no circulante que posteriormente se trasladó al segundo segmento adjunto en el ala este en 1876-1878. Esta ala oeste original del Instituto Peabody se inauguró en 1866, cuando el Sr. Peabody, entonces residente desde hacía mucho tiempo primero en la ciudad de Nueva York y luego en Londres (Inglaterra), fue recibido por los miles de niños de las escuelas públicas de la ciudad de Baltimore reunidos en la escalinata de su emblemático edificio con vistas al círculo del Monumento a Washington en el barrio de Mount Vernon-Belvedere, y la estructura actual de la biblioteca en el ala este fue diseñada en el mismo estilo por el afamado arquitecto local Edmund G. Lind, que se abrió al público en 1878. La biblioteca formó parte del Instituto Peabody hasta 1967, cuando fue transferida a la ciudad de Baltimore y se convirtió en un departamento de la cercana Biblioteca Gratuita Enoch Pratt de la calle Cathedral, el sistema de bibliotecas públicas gratuitas de la ciudad y el estado (el más antiguo de América), que había sido fundado y dotado en 1882-1886 por el amigo de George Peabody y compañero de Bay Stater, Enoch Pratt, (1808-1896). Se transfirió a la Universidad Johns Hopkins en 1982 y pasó a formar parte del departamento de Colecciones Especiales de la Biblioteca Eisenhower en el campus de Homewood y del sistema de Bibliotecas Sheridan de la JHU, ya que el propio Instituto Peabody se afilió a la Hopkins.