O nome do bairro se refere à monumental Pedra da Gávea, a “Metaracanga” dos indígenas,  que, com seus 844 metros de altura, é o maior monólito a beira mar do Planeta. Assim chamada por lembrar aos antigos navegadores portugueses, vista do oceano, a gávea de um veleiro, a Pedra, na realidade, situa-se no bairro vizinho de São Conrado, mas acabou dando seu nome ao vale voltado para a Lagoa Rodrigo de Freitas. Como os outros bairros da região, sua origem foi o Engenho d”El Rey, do tempo do Governador Antonio Salema, cujas as terras eram utilizadas para lavouras e pastagens. Cultivava-se cana de açúcar e depois, no século XXI, o café.

A região pertencia à povoação de São José da Lagoa e desta foi desmembrada, em 1873, para originar a Freguesia de Nossa Senhora da Conceição da Gávea. A Igreja de Nossa Senhora da Conceição, construída entre 1852 e 1857 com o apoio do Capitão Manuel Vitorino do Amaral, seria, em 1875, elevada a Matriz.

O acesso principal à Gávea era o Caminho da Boa Vista, que possuía várias chácaras e palacetes. Nele, o arquiteto francês Grandjean de Montigny (1776-1850) construiu sua residência, conhecida como Olaria da Gávea. Hoje, o Solar Grandjean de Montigny abriga o Centro Cultural da PUC-Rio, dentro do campus da universidade, aberto à visitação.

No ponto mais alto do Caminho da Boa Vista, em meio à floresta, ficava a grande chácara de José Antônio Pimenta Bueno, o Marquês de São Vicente, que daria depois seu nome à rua. A área pertenceu a uma fazenda de café, loteada no século XIX, conhecida como Chácara do Morro Queimado. Seu último dono foi o Engenheiro Guilherme Guinle que, em 1939, a vendeu para a Prefeitura, que ali criou o Parque da Cidade, ocupando 470 mil metros quadrados com gramados, lagos, trilhas, reserva florestal e o Museu da Cidade, instalado na antiga residência do Marquês de São Vicente. 

Marcada pelos monumentais paredões do Morro Dois Irmãos (539 m) e seus dois picos rochosos, a Gávea é atravessada pelo Rio Rainha – o antigo Rio Branco -, tributário da Lagoa, que nasce nas encostas do Parque. O Largo das Três Vendas - atual Pça. Santos Dumont -, onde ficava o Hotel do Amaral, era o principal referencial do antigo bairro e ali chegaram os bondes, em 1872. Em 1904, já elétricos, os bondes subiam a Rua Marques de São Vicente até o seu final, no local chamado de “Rodo”.

Quando começaram a lotear as florestas da Gávea, João Borges comprou, em 1906, antiga chácara que foi loteada por seu filho, abrindo três ruas e 100 lotes em 1926. As chácaras de Manuel Pinto, Taylor da Fonseca, José Pereira Rego, Cônego José Caetano de Ferreira Aguiar e outros, geraram a rede viária do Bairro. Ciro Canto e Mello era proprietário de grande área florestal, que foi da Família Borges, e seus herdeiros abriram  o loteamento Canto e Mello acima da cota dos 100 metros. Com a abertura da Estrada da Gávea, foi criada entre 1933 e 1952, a famosa corrida automobilística do Circuito da Gávea.

No século XX, surgiram as indústrias, como a Fábrica de Tecidos São Félix, depois Cotonifício da Gávea, e Sudantex, no início da década de 1920. Depois vieram os Laboratórios Park-Davis, Moura Brasil e a Indústria Química Merrel do Brasil. Com isso, se instalaram vilas operárias, casas de cômodos e, no ano de 1942, o Parque Proletário da Gávea, removido em 1970.

Até a década de 1990, quando foi transformada em bairro e região administrativa, boa parte da Rocinha pertencia ao bairro da Gávea, com o qual tem ligações históricas: era no Largo das Três Vendas que seus primeiros moradores, na década de 1930, vinham vender suas hortaliças. A Vila Parque da Cidade, hoje bastante populosa, surge também na década de 1930.

Entre outras referências do bairro, podem ser destacadas: o Conjunto Residencial Marquês de São Vicente ou “Minhocão”, projeto premiado do arquiteto Affonso Eduardo Reidy, de 1952/54, modificado em parte para a passagem da Auto Estrada Lagoa-Barra (1982); o campus da PUC-Rio, que inaugurou sua sede na Gávea em 1955, ocupando 100 mil metros quadrados;  o Planetário da Cidade (1970) e o Museu do Universo (1998), importantes centros de estudos astronômicos; o Instituto Moreira Sales, com acervo variado, exposições, fototeca, música; o Shopping da Gávea e seus teatros (1975); e o chamado “Baixo Gávea”, trecho da Praça Santos Dumont repleto de bares e restaurantes, tradicional ponto de encontro noturno dos cariocas.