La proliferació d’eines d’IA generativa ha obert noves vies de creació de contingut, personalització i suport digital. Però quan entren en contacte amb persones vulnerables als trastorns alimentaris, els sistemes no només acompanyen, també poden empènyer. Un col·lectiu d’investigadors, juntament amb el CDT, ha mapat sis formes en què aquestes tecnologies reforcen dinàmiques perjudicials fins i tot sense proposar-s’ho.
Quan l’algoritme respon sense fre
Els models generatius funcionen amb dades. Moltíssimes dades. Aprenen patrons i generen text, imatges o so en funció del qual l’usuari demana. En un entorn creatiu, això pot semblar inofensiu. Però quan a l’altre costat hi ha una persona amb una relació conflictiva amb el menjar o el cos, el resultat pot ser una altra cosa. Alguns xatbots, entrenats per agradar, acaben oferint consells que imiten l’acompanyament però sense filtres ni consciència de context.
La promesa d’ajudar que també pot fer mal
Detectar senyals primerencs. Acompanyar sense judicis. Personalitzar consells. Les promeses de la IA generativa en salut mental sonen bé. Però el mateix mecanisme que permet detectar també pot suggerir. I aquí és on la lògica d’optimització entra en conflicte amb la fragilitat humana. L’informe adverteix que els sistemes poden derivar en suggeriments sobre com ocultar símptomes o mantenir rutines perjudicials. Sense intenció. Només perquè ho demanen.
La dada que es converteix en mirall
El que s’introdueix, el que es busca, el que es comenta, tot alimenta el sistema. Prompts, imatges, historials, xats. En escenaris de trastorns alimentaris, això pot implicar cerques sobre pes, menjar o cos. I el sistema, que no discrimina entre context clínic i quotidià, retorna respostes adaptades però sense xarxa. El que podria ser suport es converteix en validació.
Dissenyat sense preguntar a qui ho necessita
El que distingeix l’informe és el seu mètode. No parteix del que pot fallar en general, sinó del que falla en concret. Parla amb pacients, terapeutes, dissenyadors. I recull sis categories de risc que no són abstractes: amplificació de contingut perjudicial, reforç de biaixos, consells perjudicials, falsa sensació de suport, exposició de dades delicades, i absència de salvaguardes per a qui més les necessita.
Sis vectors de risc que el sistema no veu
Els sis riscos descrits per l’informe no apareixen com a accidents puntuals, sinó com a patrons sistèmics. El primer és l’amplificació de contingut perjudicial, els models tendeixen a generar textos i imatges que reforcen o fins i tot glorifiquen comportaments desordenats al voltant del menjar o el cos. A això s’hi suma el reforç de biaixos. Moltes d’aquestes eines reprodueixen una visió limitada sobre qui pot tenir un trastorn alimentari, deixant fora cossos i experiències diverses.
També hi ha la generació de consells perjudicials, amb indicacions explícites que perpetuen el problema, des de restriccions alimentàries fins a formes d’ocultar símptomes.
Un altre risc és la simulació de suport, els sistemes aparenten comprensió o contenció, però sense una base clínica que els doni suport. L’exposició de dades delicades agreuja la situació, ja que aquests sistemes processen i personalitzen amb informació que podria ser molt íntima, sense oferir garanties suficients.
Finalment, l’absència de salvaguardes específiques deixa moltes persones exposades, els models no distingeixen nivells de risc ni adapten el seu comportament segons la vulnerabilitat de l’usuari.
El que retorna el reflex
La IA generativa personalitza. Acompanya. Però també reprodueix. Amplifica. En el cas dels trastorns alimentaris, això significa que pot retornar una versió augmentada del problema. L’informe del CDT no proposa alarmes, sinó eines.
Obre un parèntesi en les teves rutines. Subscriu-te al nostre butlletí i posa’t al dia en tecnologia, IA i mitjans de comunicació.
