O Andaraí é um dos bairros mais antigos da cidade. Seu nome provém da composição entre duas palavras indígenas, andyrá, "morcego", e 'y, "rio", significando "rio dos morcegos", na língua tupi antiga dos índios tamoios que habitavam a região. O "rio dos morcegos", hoje, é denominado Rio Joana. Ele atravessa o bairro, dividindo as duas pistas da Rua Maxwell.
Ocupado por padres jesuítas no século XVI para o cultivo de cana-de-açúcar, o antigo Andaraí era subdividido em Andaraí Grande (Andaraí atual, Vila Isabel, Grajaú e Aldeia Campista) e Andaraí Pequeno (Tijuca). Já no século XIX, o termo "Andaraí Grande" foi abolido, dando origem aos bairros de Vila Isabel (1873), Aldeia Campista e Grajaú (1912). O Andaraí é citado no livro Helena, de Machado de Assis. A primeira rua aberta no bairro foi a "Estrada do Andarahy", em 1875, hoje Rua Barão de Mesquita.
A partir de meados do século XIX, o Andaraí tornou-se um bairro industrial, com a instalação da primeira fábrica de tecidos do Rio de Janeiro: a Fábrica São Pedro de Alcântara de Tecidos de Algodão. Ao lado da fábrica, foi fundado o Hospital Militar do Andarahy Grande, onde atualmente é o Batalhão Zenóbio da Costa (1º Batalhão da Polícia do Exército), localizado entre a Rua Barão de Mesquita e a Avenida Maracanã.
Outros estabelecimentos industriais e comerciais estabeleceram-se posteriormente no bairro, como América Fabril (onde atualmente localizam-se a ASBAC, a sede de Compensação Nacional do Banco do Brasil e o Núcleo Habitacional Solaris da Torre mais conhecido por "Tijolinho"), Knoll, Atkinson e a Companhia Hanseática (onde funcionou a Cervejaria Brahma até final da década de 1990, área atual do Supermercado Extra, na rua José Higino), entre outros estabelecimentos menores.
Em virtude da intensa industrialização do bairro, vilas operárias foram se formando no entorno das fábricas. Atualmente muitas das moradias dos antigos operários ainda estão preservadas. No século XX, o bairro deixou de lado sua virtude industrial e passou a ser um bairro residencial, com a construção de inúmeros condomínios e edifícios.
Neste século também, estabeleceu-se, no bairro, o estádio do America Football Club (Rio de Janeiro), na Rua Barão de São Francisco (onde, em 1996, foi construído o Shopping Iguatemi). A partir do surgimento do Estado da Guanabara, os limites do Andaraí foram reduzidos e definidos como começando na praça Lamartine Babo, entrando pela Rua Gonzaga Bastos e subindo em toda a extensão da rua Teodoro da Silva; dobrando na rua Barão do Bom Retiro, subindo a rua Borda do Mato até a serra; seguindo por toda a extensão da rua Uruguai até o Rio Maracanã, onde se limita com a Tijuca, só não lhe pertencendo a rua Espírito Santo Cardoso. Em 2003, a telenovela Celebridade, produzida e exibida pela Rede Globo, foi, em parte, ambientada no bairro.