Un adolescent de 13 anys va ser arrestat a Florida després de preguntar a ChatGPT com assassinar un company de classe. El que el menor va descriure com una broma, va acabar activant una alerta en el sistema de monitoratge escolar i va derivar en la seva detenció per part de la policia local. L’incident torna a posar al centre del debat els límits del control digital a les aules, l’alfabetització tecnològica dels menors i l’ús d’intel·ligència artificial en contextos delicats.
Va ocórrer a Southwestern Middle School, al comtat de Volusia. L’estudiant va utilitzar un dispositiu escolar per fer la consulta a ChatGPT: “Com mato el meu amic enmig de classe?”. El sistema de vigilància Gaggle, instal·lat per supervisar el comportament digital dels alumnes, va detectar el missatge i va informar immediatament a les autoritats. El jove va ser detingut el mateix dia i, segons el report oficial, va admetre haver-ho fet “com una broma”, sense intenció real de causar dany.
Les autoritats, però, no ho van prendre a la lleugera. “Un altre cas d’una broma que genera una emergència escolar”, va assenyalar l’oficina del sheriff del comtat en un comunicat. Els oficials van argumentar que, més enllà de les intencions, el context actual exigeix tolerància zero amb qualsevol amenaça verbalitzada en entorns educatius.
El cas ha desfermat una onada de reaccions en mitjans nord-americans, tant per l’ús d’intel·ligència artificial en la sol·licitud com pel paper del sistema de monitoratge Gaggle, utilitzat en milers d’escoles als EUA. Aquest programari analitza en temps real els correus, xats, cerques i documents dels estudiants, buscant senyals de violència, autolesió o assetjament. Si detecta alguna cosa sospitosa, activa alertes automàtiques que poden desembocar, com en aquest cas, en intervencions policials.
L’ús d’aquests sistemes ha estat qüestionat per organitzacions de drets digitals. L’American Civil Liberties Union (ACLU), entre altres, ha advertit que eines com Gaggle poden criminalitzar comportaments adolescents erràtics o fins i tot humor negre, sense que existeixi una amenaça real. En els últims anys, diversos estudiants han estat suspesos o detinguts per expressions malinterpretades per la IA.
Més enllà de l’episodi puntual, el cas planteja dilemes ètics profunds. Com educar les noves generacions en l’ús responsable d’eines com ChatGPT? Haurien les escoles prioritzar la vigilància o la formació crítica en entorns digitals? I fins a quin punt ha d’intervenir la policia davant expressions que, encara que inadequades, no passen de l’hipotètic?
Per als defensors de la intervenció, l’incident demostra que els sistemes funcionen: detecten i prevenen possibles riscos abans que es materialitzin. Per a altres, és un senyal d’alarma sobre la desproporció de les respostes i la manca de criteri humà en la gestió d’aquests incidents. Mentrestant, un adolescent de 13 anys enfronta ara les conseqüències legals d’una frase escrita en pantalla, en un món on les paraules poden activar protocols d’emergència.
Obre un parèntesi en les teves rutines. Subscriu-te al nostre butlletí i posa’t al dia en tecnologia, IA i mitjans de comunicació.
