Fue el segundo hijo de Rosalind Nyman, nacida en Inglaterra de padres judíos, y de Howard Joel, pianista clásico.
Comenzó sus clases de piano a la edad de cuatro años. Dedicó su tiempo a la música, las bandas juveniles y el boxeo, después de que unos matones le robaran sus libros cuando caminaba hacia sus clases de piano. En uno de sus últimos combates, se rompió la nariz y tras veintidós combates abandonó.
Su primera banda musical se llamó The Echoes y tocaban versiones de los Rolling Stones y Los Beatles entre otros. The Echoes se convirtieron en The Lost Souls en 1965. En el 66 cambiaron a The Esmerald Lords y en el 67 a The Hassles (Las Confusiones). En 1970, formó parte del dúo Attila, que lanzó un álbum, cuya portada presenta a Joel vestido de bárbaro y rodeado de trozos de carne cruda.
En 1971 graba en New York una canción que llama la atención de Family Productions, y un año después, graba su primer álbum como solista Colds Spring Harbour.
Recibió numerosos reconocimientos y premios, incluyendo en 1981 el American Music Awards, por el mejor álbum Glass Houses y 5 Grammys: Grabación del año: 1978 Just the way you are, Canción del año 1979: 52nd Street, Mejor Vocalista Pop Masculino 1979: 52nd street y Mejor Vocalista Rock 1980: Glass Houses. En 1990, Joel fue reconocido con el Grammy Legend Award por su contribución, aporte e influencia en el campo de las grabaciones. En marzo de 1997, recibió el prestigioso premio Ascap Founders. En mayo de ese mismo año le fue otorgado el doctorado Honorario en Letras de la universidad de Hofstra. En 2013, recibió el Kennedy Center Honors, el galardón más alto de la nación por su influencia en la cultura estadounidense a través de las artes.