Kovács József szakmai tanulmányait 1968-ban kezdte el az Országos Szórakoztatózenei Központban, ahol előadó-művészi szakvizsgát tett. 1967-ben tűnt föl a Táncdalfesztiválon, amelyen a Jöjj vissza hozzám kezdetű dallal közönségsikert aratott. Ezután még két évben, 1968-ban és 1969-ben is megnyerte a fesztivál közönségdíját.
A Budapesti Operettszínházhoz 1971-ben került, itt a Mosoly országa című operett Szu-Csong hercegeként debütált. Ezután külföldi szerződést kapott, a grazi színházhoz került, ahol egészen 1990-ig szerepelt. 17 év után visszatérve Magyarországra, létrehozta az Interoperett Kft.-t, amelyet mostanáig igazgatott. Munkája során számos fiatal énekestehetséget fedezett fel.
Kovács József 65 évet élt.