A região alagadiça ("Ibirapuera" provém do tupi antigo ybyrapûera, que significa "árvores velhas"; ybyrá, árvores, pûer, velho, a, sufixo) havia sido parte de uma aldeia indígena na época do início da colonização de origem portuguesa. Com o tempo, tornou-se uma área de chácaras e pastagens.

Na década de 1920, o então prefeito da cidade - José Pires do Rio - idealizou a transformação daquela área em um parque semelhante a existentes na Europa e Estados Unidos, como o Bois de Boulogne em Paris, o Hyde Park em Londres ou o Central Park em Nova Iorque. O obstáculo representado pelo terreno alagadiço frustrou a ideia, até que um modesto funcionário da prefeitura, Manuel Lopes de Oliveira, conhecido como Manequinho Lopes e apaixonado por plantas, iniciou, em 1927, o plantio de centenas de eucaliptos australianos, buscando drenar o solo e eliminar a umidade excessiva do local.

Finalmente, em 1951, o então governador Lucas Nogueira Garcez instituiu uma comissão mista - composta por representantes dos poderes públicos e da iniciativa privada - para que o Parque do Ibirapuera se tornasse o marco das comemorações do IV Centenário da cidade.

Coube, ao arquiteto Oscar Niemeyer, a responsabilidade pelo projeto arquitetônico e, a Roberto Burle Marx, o projeto paisagístico. O projeto de Burle Marx, no entanto, acabou sendo substituído pelo projeto do engenheiro agrônomo Otávio Augusto Teixeira Mendes.

Três anos depois, no entanto, o aniversário da cidade, em 25 de janeiro de 1954, não pôde contar com o parque inaugurado, pois este só ficaria concluído sete meses depois. A inauguração em agosto contou com 640 estandes montados por treze estados e dezenove países. No mesmo ano, em comemoração ao Quarto Centenário da cidade de São Paulo, foi erguido no parque o Pavilhão Japonês. A edificação, inspirada no Palácio de Katsura, foi construída no Japão e trazida de navio para o Brasil, e celebra a amizade entre as duas culturas.

Desde 1999, a Sabesp - empresa de saneamento paulista - instalou uma estação de flotação, garantindo a qualidade das águas dos lagos que compõem o parque.