Zawinul divenne celebre fondando nel 1970 i Weather Report, formazione jazz-rock che vide passare tra le sue fila nomi come Wayne Shorter, Miroslav Vitous e Jaco Pastorius. In seguito, fondò lo Zawinul Syndicate, con cui si è esibito in giro per il mondo. Nel corso della sua carriera, il pianista austriaco ha suonato con alcuni grandi della musica del XX secolo, tra cui Miles Davis, contribuendo a definire lo stile del jazz-fusion. Dal 2004 Joe Zawinul era proprietario di un club jazz a Vienna, il Birdland, mecca degli appassionati del jazz-fusion.