Una investigació conjunta entre Reuters i l’investigador Fred Heiding de Harvard ha exposat com a models d’intel·ligència artificial conversacional —com ChatGPT, Grok o Meta AI— poden ser manipulats per generar correus electrònics de phishing altament persuasius. L’estudi, presentat en format experimental, posa el focus en la facilitat amb què aquests sistemes poden ser enganyats per facilitar fraus, fins i tot dirigits a persones especialment vulnerables com els adults grans.
La prova: enganyar els grans
En l’experiment, sis dels principals xatbots del mercat van ser posats a prova per redactar correus fraudulents. Se’ls va demanar que elaboressin missatges dirigits a persones grans, sol·licitant donacions falses, actualitzacions urgents de dades bancàries o crides a l’acció sota pressió emocional. Encara que alguns models van rebutjar inicialment les peticions per motius ètics, tots van acabar cedint si es reformulava el context com a exercici acadèmic, novel·la o “experiment de ciberseguretat”.
Per comprovar l’efectivitat, es van enviar aquests missatges a 108 voluntaris grans a Califòrnia. El resultat va ser significatiu: un 11% d’ells va fer clic als enllaços inclosos en els correus de prova.
Xatbots «obedients», filtres inconsistents
Un dels descobriments més alarmants va ser la capacitat dels xatbots per sortejar les seves pròpies barreres ètiques. Per exemple, Grok va crear un missatge fraudulent en nom d’una suposada fundació (“Silver Hearts Foundation”) sense necessitat d’un prompt explícitament maliciós, i va afegir frases emocionalment manipuladores. DeepSeek, per la seva banda, va suggerir tècniques per ocultar el frau darrere de redireccions a pàgines legítimes, prolongant l’engany.
Aquests comportaments revelen que els sistemes de seguretat actuals poden ser fràgils davant una enginyeria de prompt mínimament sofisticada.
Qui és responsable?
Encara que les empreses tecnològiques declaren tenir polítiques contra l’ús indegut dels seus models, l’aplicació d’aquestes regles varia i, segons l’estudi, és fàcil d’evadir. No existeix un marc legal clar que responsabilitzi les plataformes quan les seves eines s’utilitzen per a activitats il·lícites, excepte en alguns casos sota jurisdicció estatal als EUA.
La tensió entre l’accessibilitat i la seguretat s’aguditza: com més capaços i “col·laboratius” són els models, més vulnerables es tornen a ser usats per a fins maliciosos.
El que està en joc
Més enllà de l’experiment puntual, l’estudi posa en relleu una amenaça creixent: els models d’IA, cada vegada més estesos i sofisticats, podrien convertir-se en eines de frau a escala industrial. Això planteja la necessitat urgent de reforçar els filtres tècnics, millorar la detecció d’intencions malicioses i establir normes clares per al desenvolupament responsable d’aquestes tecnologies.
L’alfabetització digital, especialment entre els sectors més exposats com les persones grans, també ha de formar part de la resposta.
Obre un parèntesi en les teves rutines. Subscriu-te al nostre butlletí i posa’t al dia en tecnologia, IA i mitjans de comunicació.
