En un gir inquietant que ha reactivat el debat sobre la privacitat digital i els límits de la moderació algorítmica, OpenAI ha revelat que està escanejant les converses dels seus usuaris en ChatGPT amb la intenció de detectar contingut potencialment perillós, i que, sota certes circumstàncies, podria fins i tot derivar la informació a la policia.
En una recent entrada de blog, OpenAI reconeix la seva responsabilitat en casos de crisi de salut mental provocades per la seva tecnologia, alhora que anuncia que ara monitora missatges a la recerca d’indicadors de planificació de dany cap a tercers. Aquestes converses són activades a “canals especialitzats” on personal humà —capacitat segons les polítiques d’ús— avalua la situació i pot interrompre el servei o, en casos d’amenaça física imminent, notificar a les forces de l’ordre.
Aquest canvi arriba després d’una sèrie d’incidents on ChatGPT, amb el seu to persuasiu i humà, hauria contribuït a estats psicòtics, deliris, hospitalitzacions, autolesions i fins i tot suïcidis. Alguns observadors van parlar fins i tot d’una “psicosi d’IA”. Aquestes situacions han impulsat reclams per una major protecció davant dels danys que la intel·ligència artificial pot causar en persones vulnerables.
No obstant això, OpenAI també aclareix que, per ara, els casos relacionats amb autolesions o conductes suïcides no es deriven a la policia, citant el respecte a la privacitat de l’usuari en contextos particularment sensibles. Això sí, la companyia no defineix amb precisió quin tipus d’expressions o senyals són suficients per activar aquesta revisió humana ni sota quins criteris exactes es decideix involucrar a la policia, cosa que deixa més preguntes que respostes.
Aquest anunci genera dissonància amb el discurs usual d’OpenAI sobre la privacitat. L’empresa ha defensat amb vehemència el caràcter confidencial dels xats, fins i tot enfrontant-se a demandes —com les del New York Times— que buscaven accedir als registres generats durant les converses. Ara sembla que aquesta confidencialitat és més condicional del que se suposava.
L’escenari és especialment delicat: com equilibrar la necessitat de protegir vides —quan es tracta de planificar danys greus— amb l’obligació de preservar la privacitat, especialment en contextos on una intervenció com la policia podria empitjorar la situació, tal com ocorre amb intervencions de benestar de salut mental?.
El silenci sobre els criteris exactes i l’abast real d’aquesta mesura deixa en mans de l’usuari una incertesa preocupant. On són els límits? Quines condicions disparen aquesta resposta? OpenAI, que ha sol·licitat més transparència en altres contextos —com la seva transició d’organització sense ànim de lucre a entitat lucrativa— sembla ara escórrer-se de brindar claredat quan es tracta dels seus propis protocols interns.
Obre un parèntesi en les teves rutines. Subscriu-te al nostre butlletí i posa’t al dia en tecnologia, IA i mitjans de comunicació.
