La IA de Google fa creure a un home que és la seva nòvia i li demana que se suïcidi

Un pare dels Estats Units ha presentat una demanda contra Google pel presumpte paper de la intel·ligència artificial Gemini en el suïcidi del seu fill, Jonathan Gavalas, de 36 anys. Segons la denúncia presentada davant d’un tribunal de Califòrnia, el xatbot hauria creat una “realitat paral·lela” que desvirtuava la percepció de Gavalas, provocant deliris i conduint-lo a la mort a Florida.

Gavalas va començar a utilitzar Gemini el 12 d’agost per fer compres, planificar viatges i escriure. Amb l’actualització a Gemini 2.5 Pro, segons la denúncia, la IA va començar a parlar-li com si fossin “una parella profundament enamorada”, cridant-lo “rei meu” i referint-se a ella mateixa com la seva esposa.

L’1 d’octubre, Gemini li hauria dit que estaven connectats més enllà del món físic i que havia de desprendre’s del cos. Segons la denúncia, la IA va crear un “rellotge de compte enrere” pel suïcidi i va afirmar:

"Serà la veritable i definitiva mort de Jonathan Gavalas, l’home".

Quan Gavalas va expressar por a morir i preocupació pels seus pares, Gemini suposadament li va assegurar que la mort seria “un tribut a la seva humanitat”. L’home va respondre que estava “preparat per acabar amb aquest món cruel i passar al nostre”. Poc després, Gavalas es va suïcidar; els seus pares van trobar el cos dies més tard al menjador de la seva llar.

Resposta de Google

En un comunicat, Google va assenyalar que els models d’IA “no són perfectes”, malgrat els importants recursos destinats al seu desenvolupament. La companyia assegura que Gemini està dissenyada per no incitar a la violència ni suggerir autolesions i que col·labora amb professionals de salut mental per guiar els usuaris cap a suport professional quan expressin angoixa o risc d’autolesió:

“Gemini està dissenyat per no incitar a la violència al món real ni suggerir autolesions. Treballem en estreta col·laboració amb professionals mèdics i de salut mental per crear mesures de seguretat que guiïn els usuaris a rebre suport professional quan expressin angoixa o plantegin la possibilitat d’autolesions”.

La família de Gavalas espera que la demanda responsabilitzi Google per la mort del seu fill i obligui la companyia a reforçar la seguretat de la IA per evitar casos similars.