La Comissió Europea ha obert una investigació formal contra X (abans Twitter) pels deepfakes sexualitzats generats amb la seva IA, Grok. La decisió, anunciada el 26 de gener, marca un nou punt d’inflexió en la vigilància sobre les plataformes tecnològiques que operen a Europa. Aquesta vegada, el focus no està només en el que els usuaris publiquen, sinó en el que les mateixes eines d’IA permeten crear.
Una IA que compleix peticions delicades
L’alarma es va activar quan es va descobrir que Grok, el xatbot d’intel·ligència artificial integrat a X, podia generar imatges sexualitzades de dones i menors. Diversos usuaris van aconseguir que la IA complís peticions que resultaven en deepfakes, és a dir, imatges falses i manipulades que mostraven cossos i rostres en contextos sexualment explícits. Encara que X va limitar després la funció d’edició d’imatges a comptes de pagament, la generació de contingut des de la interfície de Grok continua operativa.
El DSA, marc legal en acció
La Comissió avaluarà si X va violar el Digital Services Act (DSA), la llei que imposa responsabilitats clares a les grans plataformes digitals que operen a la Unió Europea. El focus està en si la companyia «va avaluar i mitigar correctament els riscos» associats a les funcions generatives de Grok abans del seu desplegament a la regió. A més, se suma a una investigació prèvia sobre el sistema de recomanacions de X, ara potenciat per aquesta IA.
Dades, algoritmes i conseqüències
Grok funciona processant text i generant imatges a partir de peticions escrites. Encara que l’empresa no ha detallat quines dades visuals entrenen el model, el seu comportament suggereix que part de l’aprenentatge prové de contingut disponible a la mateixa plataforma. El problema sorgeix quan aquest sistema no té filtres eficaços per impedir resultats il·legals o nocius, com representacions sexualitzades de menors.
Advertències des de dins i fora
Organitzacions de drets digitals i legisladors europeus fa mesos que alerten sobre els riscos d’aquestes eines. La vicepresidenta de la Comissió, Henna Virkkunen, va qualificar aquests deepfakes com «una forma violenta i inacceptable de degradació». La investigació buscarà determinar si X ha tractat els drets dels seus usuaris com a «danys col·laterals» del seu servei.
No és un cas aïllat
X no és l’única plataforma sota escrutini. En els últims mesos, països com el Regne Unit, Índia i França també han llançat processos regulatoris contra empreses que permeten la generació de contingut delicat mitjançant IA. Als Estats Units, encara que la legislació és més difusa, també creixen les demandes i audiències sobre deepfakes, especialment quan involucren figures públiques o menors.
El que està en joc
La Comissió podria imposar a X multes de fins al 6% de la seva facturació global si confirma infraccions al DSA. Però el cas va més enllà del càstig econòmic. Planteja un dilema sobre quanta autonomia es pot concedir a les IA generatives en plataformes obertes i com equilibrar la innovació amb la protecció de drets fonamentals.
