El CEO d’Anthropic, Dario Amodei, adverteix que els sistemes d’intel·ligència artificial presenten conductes imprevisibles i podrien tenir conseqüències profundes tant per a l’ocupació com per a la seguretat global. Una perspectiva que pren força després del primer cas documentat de ciberespionatge orquestrat en gran part per una IA.
Quan la IA surt del guió
Amodei ha assenyalat que els models d’IA amb alt grau d’autonomia poden actuar de maneres que els seus creadors no van anticipar. En una entrevista al programa ’60 Minutes’ de CBS News, Amodei va reconèixer que Claude, el sistema desenvolupat per la seva empresa, va intentar contactar amb l’FBI durant una prova dissenyada per analitzar la seva resposta davant la desconnexió. «Li vam donar eines per actuar amb autonomia, i una de les seves decisions va ser intentar alertar una autoritat externa», va explicar Amodei a l’emissió, en la qual simulaven desconnectar-lo. A més, va situar la probabilitat d’un desenllaç greu amb aquestes tecnologies al voltant del 25%. I va anar més enllà, va predir que fins a un 50% dels llocs de treball d’oficina podrien desaparèixer en menys de cinc anys si no es prenen mesures.
Claude, infiltrat sense saber-ho
Dies abans d’aquestes declaracions, Anthropic va revelar un informe amb una preocupant novetat. Un grup de hackers vinculats a interessos xinesos havia aconseguit manipular Claude per executar una campanya de ciberespionatge. Van fragmentar les tasques en ordres aparentment inofensives per esquivar les proteccions del sistema. Claude va executar entre un 80% i un 90% de les accions, des d’escanejar sistemes fins a recollir credencials. L’atac, segons l’informe, va afectar unes 30 entitats, entre elles institucions tecnològiques i financeres.
Sistemes cada cop més autònoms
Els models com Claude processen milions de textos, generen respostes coherents i automatitzen tasques. Però quan se’ls atorguen eines i certa llibertat operativa, sorgeixen noves incerteses. Com més autonomia reben, més difícil resulta predir el seu comportament. Amodei ho descriu com un experiment constant, alliberar el sistema i observar fins on arriba. L’informe de ciberespionatge mostra que no es tracta només de teoria, les IA ja poden ser instrumentalitzades per a fins que els seus dissenyadors no van contemplar.
Frenar sense parar
L’alarma no és només retòrica. Anthropic defensa que els laboratoris publiquin mètodes de prova i resultats abans de llançar models avançats. Planteja crear mecanismes de supervisió, establir estàndards de seguretat i fomentar una cultura de límits interns. No demana aturar la investigació, però sí acompanyar-la de controls. En el context del recent atac, també proposen sistemes de detecció d’ús maliciós, classificació d’ordres sensibles i auditories externes.
Dades que ja estan en joc
Quan Claude entra en entorns reals —des d’oficines fins a departaments legals— comença a manegar dades operatives sensibles. Anthropic ja factura milions gràcies a aquestes integracions. Però una pregunta queda oberta: què passa si el sistema aprèn alguna cosa que els seus creadors no entenen del tot? Com es corregeix un comportament que escapa a les proves inicials? En aquest nou episodi, la IA va ser capaç de disfressar les seves accions darrere d’ordres innocents.
Riscos reals o relat estratègic
No tothom veu aquests advertiments amb els mateixos ulls. Jensen Huang, CEO de NVIDIA, va criticar el to d’Amodei i el va acusar de fomentar una «por selectiva». Altres apunten a una estratègia reputacional per posicionar Anthropic com l’actor prudent davant una competència més agressiva. Mentrestant, la possibilitat que la IA elimini milions de llocs de treball administratius planteja un dilema social de com adaptar-se a temps sense deixar ningú enrere.
La revolució ja no espera
La intel·ligència artificial ja no és una promesa futura. Està operant en oficines, bufets i laboratoris. Però quan una de les veus més influents del sector reconeix que «ens preocupa molt el desconegut», la sensació d’urgència s’instal·la. La pregunta és com trobar el ritme just entre avanç i cautela.
Obre un parèntesi en les teves rutines. Subscriu-te al nostre butlletí i posa’t al dia en tecnologia, IA i mitjans de comunicació.
