Jómódú görög szülők gyermekeként született 1946. június 15-én Alexandriában. A család a hatvanas évek elején hagyta el Egyiptomot, és települt vissza Athénbe. Roussos barátaival együttest alapított, ő maga gitáron és bőgőn játszott. Még húszéves sem volt, amikor a maga lábára állt. Későbbi pályafutására nagy hatással volt, hogy 1966-ban megismerkedett Vangelisszel. Ösztönzésére próbálkozott meg a szólóénekléssel is.
Roussost 2013-ban az athéni francia nagykövet a Becsületrend lovagi fokozatával tüntette ki. A mosolygós sztár családja körében vette át az elismerést, de egészségi állapota miatt a ceremónia alatt ülve maradt. A világhírű énekes koncertturnéi során Budapesten is fellépett.