Budowa gmachu przy 57 ulicy i 7 alei rozpoczęła się 13 maja 1890. Przedsięwzięcie zainicjował Andrew Carnegie, stąd nosi on swoją nazwę, choć pierwotnie sala nosiła nazwę Music Hall. Oficjalnego otwarcia dokonano w niecały rok od rozpoczęcia prac, 5 maja 1891 roku. Otworzył ją koncert orkiestry pod dyrekcją Piotra Czajkowskiego.
Gmach należał do rodziny Carnegie do roku 1925, kiedy wdowa po Andrew Carnegie sprzedała go Robertowi Simonowi, właścicielowi firm budowlanych.
W połowie lat 50. właściciel sali koncertowej zaoferował jej sprzedaż Filharmonii Nowojorskiej, która rezerwowała tam większość wieczorów. Transakcja nie doszła jednak do skutku, Filharmonia odrzuciła propozycję, mając w planach przeprowadzkę do Lincoln Center.
Problemy ze sprzedażą budynku spowodowały, że przeznaczono go do rozbiórki, aby uzyskać ziemię pod drapacz chmur. Całą operację zablokowały protesty artystów pod przewodnictwem Isaaca Sterna. Miasto Nowy Jork zostało niejako zmuszone do wykupienia gmachu za 5 mln dolarów gmachu i utworzenia w 1960 roku organizacji non-profit.
Od samego początku odbywały się tam koncerty dla młodzieży, które później prowadził Leonard Bernstein. Dziś na scenie Carnegie występują także największe gwiazdy światowej muzyki popularnej jak Céline Dion czy Barbra Streisand.
