Brett 1958-ban vette el első feleségét, Anna Massey-t, de négy évvel később a nő elhagyta a színészt egy másik férfiért. Jeremy 1976-ban újra megnősült, második feleségével kilenc évig éltek együtt, amikor is a nő súlyos betegség után elhunyt, nem sokkal azután, hogy a színész befejezte a Sherlock Holmes forgatását. Második felesége halálát követően a színész nem színlelt tovább, és hamar kiderült biszexualitása és intim viszonya Gary Bond színésszel.