Duffyho rodiče zastřelili v listopadu 1986 Sean A. Wentz a Kenneth A. Miller, kteří byli z vraždy usvědčeni. „Otec ty dva mladíky večer vyhodil z baru. Takže odešli a pili někde jinde. Pak se vrátili, aby mu nakopali prdel. Vešli do hospody se zbraněmi a zastřelili ho. V baru nebyl nikdo jiný, takže zastřelili moji matku i mého otce,“ prozradil Duffy magazínu Closer Weekly.
Po tom hrůzostrašném zážitku byl herec šokovaný a rozzlobený, ale řekl, že nikdy neměl pocit, že by o rodiče přišel úplně. „Nikdy jsem nepocítil tu náhlou obrovskou ztrátu. Nevěděl jsem proč, ale při pohledu zpátky myslím, že to bylo díky buddhismu,“ míní.
Wentze za vraždu odsoudili na 180 let a Millera v roce 2007 podmíněně propustili. Přestože je vrahův komplic už 12 let na svobodě, Duffymu to nevadí. „Je to v pořádku. Podle mě už byl potrestán. A je jedno, jestli je ve vězení, nebo na svobodě,“ dodal.
Po rodinné tragédii mu byla oporou také manželka Carlyn Rosserová, která v roce 2017 nečekaně zemřela. Byli spolu 43 let a mají dva syny. „Moji kluci mě podrželi. Ale také jsem si uvědomil, že i když se všemožně snažili pomoct starému otci, asi jsem zvládl tu situaci lépe než oni. Člověk dospěje do určitého věku a uvědomí si, že cesta před ním je mnohem kratší než ta, kterou má za sebou,“ dodal s tím, že se i dva roky po smrti manželky pořád považuje za ženatého muže.
