O coronel Pedro Gomes Ferrão Castelo Branco (morador que deu nome ao Solar Ferrão) idealizou a criação da biblioteca, cuja autorização para criação veio com o documento assinado em 13 de maio de 1811 por dom Marcos de Noronha e Brito, o VIII Conde dos Arcos. No mesmo ano, foi aberta ao público com cerca de 3 mil livros e seis funcionários no dia 4 de agosto. Desse ano até 1900, quando se encontrava sob a direção de José de Oliveira Campos, ela funcionou na antiga livraria da Igreja dos Jesuítas (posterior Catedral Basílica de Salvador). Foi transferida para mais quatro sedes até ser instalada no prédio da rua General Labatut, nos Barris, em 1970. É a primeira biblioteca pública do Brasil e da América Latina.
Ao longo de sua história foi objeto de várias ações de reconstrução e modernização, sendo que em 1988 completou-se a última grande reforma nas instalações físicas em sua atual sede, situada à R. General Labatut, Barris.
Seu acervo é composto por 600 mil arquivos, dos quais mais de 150 mil são livros, e está distribuído entre nove seções (Braille, Infantil, Pesquisa/Referência, Empréstimo, Periódicos, Obras Raras e Valiosas, Documentação Baiana, Artes e Audiovisual),.
Fazem parte das suas instalações duas salas de cinema (Walter da Silveira e Alexandre Robato), a galeria Pierre Verger, o Teatro Espaço Xisto, uma biblioteca infantil e a sede da Diretoria de Imagem e Som da Bahia.