Sosem volt titok, hogy Patrick Duffy élete nem indult egyszerűen. Bár a színész egy világot hódított meg a Dallas Bobby Ewingjaként, szülei tragikus halála nyomot hagyott az életében. Duffy szülei egy bárt üzemeltettek, egy este azonban két részeg fegyveres támadt rájuk, és mindkettőjüket hidegvérrel meggyilkolta.
A színész többször nyilatkozott arról, mennyire összetört ezután, de amikor megismerte a feleségét, Carlyn Rossertet, minden megváltozott. Carlynnal 43 évig éltek a lehető legboldogabb házasságban, egészen 2017-ig, a nő haláláig.
Házasságukból két gyermekük született, Padraic Terrence és Conor Duffy, akik szintén a filmes szakmában helyezkedtek el. Padraic színészként és forgatókönyvíróként dolgozik, míg Conor színészként bontogatta a szárnyait az évek során. Bár nepo bébiként könnyebb volt a szakmában elhelyezkedniük, nem nyílt meg előttük automatikusan minden ajtó, amit bizonyít, hogy egyikük sem tudott nagyobb hírnévre szert tenni, inkább csak kisebb epizódszerepekben és háttérmunkákban tűntek fel. Duffy ennek ellenére nagyon büszke rájuk, régebben több vörös szőnyeges eseményre is magával vitte a fiait, ugyanis nagyon szoros kapocs van közöttük.
A színész imádott felesége halála után azt mondta, nem szeretne ismerkedni, de a pandémia során beleszeretett Linda Purlba, akivel azóta is boldogan élnek. A ma 74 éves Duffyt elnézve nemcsoda, hogy Linda szeme megakadt rajta, bár megőszült, a színész mosolya és sármja egy pillanatig sem kopott meg.