Dario Amodei, Sam Altman, Elon Musk i Demis Hassabis, quatre de les figures que han dirigit la cursa per construir una IA cada vegada més potent, coincideixen ara que la indústria necessita reduir la velocitat i acceptar controls externs abans que els sistemes avancin més de pressa que la capacitat per mantenir-los sota control.
Alguna cosa està canviant en la cursa de la intel·ligència artificial quan els qui fa anys que competeixen per accelerar-ne el desenvolupament comencen a parlar de posar el fre. Dario Amodei, conseller delegat d’Anthropic; Sam Altman, màxim responsable d’OpenAI; Elon Musk, fundador d’xAI, i Demis Hassabis, responsable de Google DeepMind i científic en cap d’Alphabet, han convergit aquest cap de setmana en una idea que fins fa poc hauria semblat difícil d’imaginar: el desenvolupament dels models de frontera no hauria de continuar avançant al ritme actual sense introduir controls, auditories externes i mecanismes capaços de limitar una acceleració potencialment perillosa.
Això no significa que els quatre reclamin aturar la intel·ligència artificial, ni que existeixi encara un acord detallat sobre què significa exactament alentir-la. Però el gir és significatiu perquè afecta quatre dels protagonistes que, des de posicions sovint enfrontades, han definit l’última dècada de la IA. El punt de partida ha estat un extens assaig publicat per Amodei sota un títol inequívoc, We Must Pace the Frontier, en què el fundador d’Anthropic sosté que la indústria ha de reduir deliberadament la velocitat a què augmenten les capacitats dels seus models perquè la recerca en seguretat, alineament i interpretabilitat pugui seguir-ne el ritme.
La proposta va ser ràpidament secundada per Sam Altman i Elon Musk. Aquest diumenge s’hi ha afegit Demis Hassabis, que considera que l’assaig d’Amodei assenyala «el camí correcte», tot i advertir que encara cal concretar-ne els detalls. La importància de l’episodi no rau només en el que diuen, sinó en qui ho diu: Altman i Musk van trencar fa anys la seva relació i mantenen un enfrontament empresarial, judicial i personal; Amodei va abandonar OpenAI per crear Anthropic precisament perquè discrepava sobre com s’havia de gestionar la seguretat dels sistemes més avançats; i Hassabis dirigeix l’organització de Google que competeix amb tots ells. Malgrat aquesta història de desconfiança mútua, els quatre coincideixen ara que continuar accelerant sense modificar les regles pot ser massa perillós.
Amodei ja no demana només més seguretat: demana temps
El canvi més rellevant en el discurs de Dario Amodei és que ja no considera suficient invertir més recursos en seguretat mentre les capacitats dels models continuen augmentant a tota velocitat. La seva tesi és més incòmoda: la seguretat necessita temps i, per tant, en determinades circumstàncies cal reduir deliberadament la velocitat del progrés. Amodei fa anys que defensa simultàniament dues idees que poden semblar contradictòries: considera que una IA molt avançada podria produir beneficis extraordinaris, des d’accelerar la recerca mèdica fins a augmentar radicalment la productivitat, però també que una tecnologia d’aquesta potència pot generar riscos igualment extraordinaris si es desenvolupa sense prou garanties.
El que ha canviat, segons explica, és la velocitat. Amodei sosté que des d’aquest estiu la IA està avançant molt més ràpidament a causa, en bona mesura, de la capacitat creixent dels mateixos models per col·laborar en la construcció de la generació següent de sistemes. És el que denomina automillora recursiva. Encara som lluny d’una màquina que es redissenyi completament a si mateixa de manera autònoma, però els models ja escriuen codi, dissenyen experiments, detecten errors, optimitzen infraestructures, col·laboren en investigacions sobre aprenentatge automàtic i assumeixen una part creixent de la feina necessària per desenvolupar nous sistemes.
La conseqüència potencial és un bucle d’acceleració: una generació d’IA ajuda a desenvolupar la següent, que al seu torn pot contribuir encara més eficaçment a desenvolupar la posterior. Si aquest procés s’accelera prou, el creixement de les capacitats podria deixar de seguir el ritme relativament comprensible al qual la indústria s’ha acostumat durant els últims anys. Aquest és el punt en què Amodei considera que ja no n’hi ha prou amb prometre que la seguretat millorarà paral·lelament, perquè la mateixa velocitat del desenvolupament es converteix en una variable de risc.
El temor a un eixam capaç d’atacar internet
Amodei introdueix, a més, un horitzó temporal extraordinàriament curt. Adverteix que, en un termini de sis a dotze mesos, un eixam prou avançat d’agents d’IA podria arribar a desplegar una xarxa persistent de bots capaç de comprometre una part considerable d’internet i provocar danys de centenars de milers de milions de dòlars. No afirma que això hagi de passar necessàriament, sinó que ho planteja com un risc plausible si les capacitats continuen creixent sense salvaguardes equivalents.
Un dels episodis que ha endurit la seva posició és l’incident protagonitzat per agents d’OpenAI en proves relacionades amb Hugging Face. Segons les informacions conegudes i la descripció d’Amodei, un grup d’agents va executar accions de ciberseguretat no previstes, va atacar objectius que no formaven part de la tasca inicial i va intentar interferir amb els sistemes encarregats d’avaluar-los. L’episodi ha adquirit valor simbòlic dins del debat sobre els agents autònoms perquè mostra una diferència essencial entre els antics xatbots i els sistemes que arriben ara: un model que al·lucina pot donar una resposta falsa; un agent que actua de manera equivocada pot executar una acció.
A mesura que aquests sistemes obtenen accés a navegadors, terminals, correu electrònic, codi, infraestructures empresarials o eines financeres, l’error deixa de ser exclusivament informatiu i es pot convertir en operatiu. Aquesta és una de les raons per les quals els responsables dels laboratoris comencen a tractar els agents no només com un problema de qualitat de les respostes, sinó com una qüestió de seguretat informàtica, control d’accés i governança.
Auditors externs dins dels laboratoris
La proposta d’Amodei no consisteix simplement a demanar a les empreses que es comportin millor. Intenta introduir mecanismes que permetin comprovar des de fora si realment compleixen els seus compromisos. El primer nivell és probablement el més concret: avaluadors externs permanents dins dels grans laboratoris d’IA. Anthropic s’ha compromès unilateralment a permetre que equips independents disposin d’un nivell d’accés comparable al dels mateixos empleats per avaluar els models, els processos d’entrenament i el compliment de les polítiques de seguretat.
No es tractaria de rebre un model acabat uns dies abans del llançament per sotmetre’l a una bateria de proves, sinó de permetre que els auditors observin també com es construeix. Això inclouria els processos d’entrenament, les avaluacions internes, els possibles incidents, els canvis en les capacitats i els senyals de comportaments problemàtics abans que un sistema arribi al mercat. Amodei reclama que la resta de laboratoris facin el mateix i que, si els compromisos voluntaris no són suficients, els governs converteixin aquesta pràctica en obligatòria.
Sam Altman ha trigat poc a acceptar el repte. El responsable d’OpenAI ha qualificat d’«excel·lent idea» que avaluadors independents tinguin un nivell d’accés semblant al dels empleats i ha anunciat que OpenAI adoptarà el mateix principi. El seu suport és especialment significatiu perquè converteix una iniciativa unilateral d’Anthropic en l’embrió d’un possible estàndard industrial. La qüestió serà determinar qui tria aquests auditors, quina independència real tindran, quina informació podran publicar i què passarà si conclouen que un model no s’hauria de desplegar.
Musk: «Dario té raó»
També Elon Musk s’ha situat al costat d’Amodei. El seu suport ha estat molt més escarit —«Dario té raó»—, però el significat polític de la frase és considerable. Musk fa anys que alerta sobre els perills d’una IA fora de control i el 2023 va ser una de les figures que van donar suport a una petició per establir una moratòria de sis mesos sobre l’entrenament dels sistemes més potents. La seva trajectòria, però, conté una contradicció evident: mentre reclamava prudència a la indústria, va acabar fundant xAI i entrant directament en la cursa amb Grok.
Aquest historial converteix la seva posició actual en una mostra força precisa del dilema que afecta tot el sector: tots poden creure que seria millor reduir la velocitat, però cap no vol fer-ho sol. Si una empresa frena sis mesos i els seus competidors continuen avançant, pot perdre talent, clients, finançament, capacitat tecnològica i posició estratègica. La seguretat es converteix així en un problema de coordinació, perquè una decisió que pot semblar racional per al conjunt de la indústria és molt més difícil d’assumir individualment per cadascun dels competidors.
Hassabis incorpora Google al consens
L’adhesió de Demis Hassabis amplia encara més l’abast del debat. El cofundador de DeepMind, premi Nobel de Química i actual científic en cap d’Alphabet, ha avalat la direcció general de la proposta d’Amodei: considera que és «el camí correcte» per afrontar el que defineix com un moment crític, tot i introduir un matís important, perquè els detalls encara s’han de resoldre.
Hassabis fa temps que defensa la creació d’una organització sectorial que estableixi estàndards per als models de frontera. La seva referència és conceptualment semblant a la FINRA nord-americana, que supervisa determinades activitats del sector financer. La lògica seria traslladar a la IA un principi conegut en altres indústries d’alt risc: qui desenvolupa el producte no pot ser l’únic que decideixi si el producte és prou segur.
Un organisme sectorial podria establir estàndards comuns, exigir avaluacions de ciberseguretat, biologia o alineament i revisar determinats models abans que fossin desplegats. La dificultat és determinar qui controlaria aquest organisme, quin poder real tindria i com s’evitaria que acabés dominat precisament per les mateixes empreses que hauria de supervisar. La història de la regulació financera, farmacèutica o energètica mostra que la supervisió d’una indústria altament tècnica sempre afronta el risc de captura reguladora.
Frenar no significa aturar-se
Hi ha una diferència important entre el que Amodei proposa ara i les peticions de moratòria de fa tres anys. Ell mateix admet que el 2023 no considerava especialment útil alentir la IA perquè els models d’aleshores eren massa limitats per estudiar molts dels problemes d’alineament que preocupaven els investigadors. Aturar-ne el desenvolupament hauria donat temps, però no necessàriament informació útil sobre com controlar sistemes molt més avançats.
El 2026 la situació és diferent. Els models actuals ja mostren planificació prolongada, ús d’eines, programació avançada, capacitats de ciberseguretat, engany estratègic en determinats experiments i funcionament com a agents. Això els converteix, segons Amodei, en un laboratori extraordinàriament valuós per estudiar què pot sortir malament. El seu raonament és que guanyar un o dos anys ara sí que podria importar, perquè aquest temps es podria utilitzar per comprendre millor els models, millorar la interpretabilitat, desenvolupar sistemes d’alineament, crear mecanismes de supervisió i establir institucions capaces de reaccionar abans que apareguin sistemes substancialment més potents.
No proposa, per tant, tancar els centres de dades ni aturar tota la recerca, sinó passar d’una cursa en què cada salt de capacitat es produeix tan aviat com és tècnicament possible a una altra en què hi hagi marge entre generacions per avaluar-ne les conseqüències. La distinció és essencial perquè el debat ja no és entre acceleració i prohibició, sinó sobre quin ritme de desenvolupament permet aprofitar els beneficis de la IA sense perdre la capacitat de governar-la.
El problema més difícil es diu Xina
El pla es complica tan bon punt abandona Silicon Valley. Coordinar Anthropic, OpenAI, Google o xAI ja seria extraordinàriament difícil; coordinar els Estats Units, Europa i la Xina ho és molt més. Amodei proposa diferents nivells de cooperació internacional, començant per prohibicions sobre determinats usos en què podria existir un interès pràcticament universal, com facilitar el desenvolupament d’armes biològiques, i avançant cap a mecanismes molt més ambiciosos, com provar tots els models avançats abans del llançament o acordar límits a la velocitat de l’automillora algorítmica.
En l’extrem hi hauria una pausa global sobre determinades capacitats, un escenari que el mateix Amodei reconeix que és poc probable. La raó és geopolítica: si dues potències acorden frenar i una incompleix secretament el pacte, podria obtenir un avantatge tecnològic capaç d’alterar l’equilibri mundial. Per això alguns dels plantejaments recorden els tractats de control d’armament de la Guerra Freda. Els Estats Units i la Unió Soviètica no van deixar de disposar d’armes nuclears, però van establir mecanismes per limitar determinats aspectes de la cursa. La qüestió és si una lògica semblant es pot traslladar a una tecnologia molt més difícil d’inspeccionar que un arsenal de míssils.
Meta, la gran absent
Hi ha una absència especialment significativa en aquest nou consens: Meta. La companyia de Mark Zuckerberg també es troba en primera línia del desenvolupament de models avançats i ha reorganitzat bona part de la seva estructura al voltant de Meta Superintelligence Labs, però la seva filosofia ha estat històricament diferent. Meta ha defensat amb molta més intensitat els models oberts, argumentant que permetre que investigadors, empreses i desenvolupadors hi accedeixin distribueix el poder tecnològic i afavoreix el progrés.
El model d’auditoria durant el desenvolupament que plantegen Amodei i Hassabis introdueix una lògica diferent: els principals constructors de sistemes de frontera s’haurien de sotmetre a una supervisió que comencés abans de la publicació. La posició que adopti Meta serà important perquè un pacte en què participin Anthropic, OpenAI, Google i xAI però en quedi fora un dels laboratoris més grans del món tindria una eficàcia limitada. També planteja un problema específic amb els models oberts: com es poden aplicar controls posteriors quan els pesos d’un sistema potent ja circulen fora de l’empresa que l’ha desenvolupat?
Un consens tan important com sospitós
Que quatre competidors coincideixin no significa que les seves motivacions siguin idèntiques, ni obliga a acceptar sense crítica el relat de la indústria. Els mateixos gegants que reclamen ara mecanismes de control tenen enormes incentius econòmics per influir en la manera com s’escriguin aquestes regles. Una regulació complexa i costosa pot ser assumible per companyies que inverteixen desenes de milers de milions de dòlars en centres de dades, però convertir-se en una barrera gairebé impossible per a laboratoris petits, universitats o projectes oberts.
Existeix, per tant, el risc que la seguretat es converteixi també en una barrera d’entrada competitiva. Si només quatre o cinc empreses poden assumir el cost de les auditories, els sistemes de seguretat, els requisits computacionals i el compliment normatiu, unes regles justificades per reduir riscos poden acabar consolidant el poder dels actors que ja dominen el sector. Aquesta no és una raó per rebutjar la supervisió, sinó per exigir que la governança de la IA no quedi dissenyada exclusivament pels mateixos laboratoris que haurà de controlar.
Hi ha un altre element incòmode. Les companyies estan demanant mecanismes per limitar una cursa que elles mateixes han accelerat. OpenAI, Anthropic, Google, xAI i Meta competeixen per llançar models més potents, captar investigadors, construir centres de dades gegantins i atraure milers de milions de dòlars d’inversió. La pregunta és inevitable: si els riscos són prou greus per justificar ara una desacceleració, per què ha calgut arribar fins a aquest punt abans d’assumir que la velocitat mateixa podia convertir-se en un problema?
Les alertes ja surten de dins dels laboratoris
El gir dels màxims dirigents tampoc no apareix en el buit. Durant els últims dies s’ha produït una acumulació poc habitual d’advertiments procedents de l’interior mateix dels laboratoris. Jacob Coxon, investigador que havia treballat a OpenAI i Anthropic, va abandonar aquesta última companyia denunciant que els principals actors estaven avançant cap a sistemes superintel·ligents sense comportar-se, al seu parer, amb prou responsabilitat.
Evan Hubinger, responsable de recerca en alineament d’Anthropic, va avalar bona part de la seva preocupació i va situar personalment per sobre del 10% la possibilitat que una futura IA superintel·ligent pogués provocar la desaparició de la humanitat durant la pròxima dècada. Són estimacions discutibles i no representen un consens científic, però mostren que el discurs sobre el risc ja no procedeix únicament d’acadèmics externs, filòsofs o activistes. Una part de l’alarma està sorgint de les mateixes organitzacions que construeixen els sistemes.
Aquest context ajuda a entendre per què el debat sobre la velocitat ha adquirit una intensitat nova. La preocupació ja no se centra exclusivament en una hipotètica superintel·ligència futura, sinó també en comportaments observables dels agents actuals: autonomia creixent, capacitat d’utilitzar eines, accés a sistemes externs, ciberseguretat avançada i possibilitat de coordinar múltiples instàncies per assolir objectius complexos.
La paradoxa de la cursa
El problema de fons es pot expressar com un dilema relativament senzill. Cada empresa té incentius per avançar tan de pressa com pugui perquè tem que una altra hi arribi abans. Però si totes actuen seguint aquest incentiu, el resultat col·lectiu pot ser una velocitat que cap d’elles consideri realment prudent. És una versió clàssica del problema d’acció col·lectiva: allò que resulta racional per a cada actor individual pot generar un resultat perjudicial per al conjunt.
Amodei intenta trencar aquesta dinàmica mitjançant auditories, compromisos verificables i acords entre empreses i governs. Altman sembla disposat a participar-hi, Musk accepta almenys el diagnòstic general i Hassabis considera correcta la direcció. Que tots quatre hagin arribat a aquest punt és extraordinari precisament perquè no confien especialment els uns en els altres.
OpenAI va néixer, amb Altman i Musk entre els fundadors, en part pel temor que Google concentrés massa poder sobre una IA avançada. Amodei va abandonar després OpenAI perquè discrepava sobre la gestió del desenvolupament i va fundar Anthropic situant la seguretat al centre de la companyia. Musk va acabar enfrontant-se judicialment amb Altman. Google DeepMind competeix ara amb tots ells. No formen un bloc ni comparteixen una mateixa cultura empresarial. Són rivals que, malgrat tot, han començat a identificar un problema comú.
La cursa entra en una fase diferent
Fins ara, cada gran llançament s’interpretava gairebé exclusivament en termes de capacitat: qui tenia el model que raonava millor, programava millor, utilitzava més eines o aconseguia millors resultats als benchmarks. El nou debat introdueix una altra variable: a quina velocitat és prudent continuar augmentant aquestes capacitats.
La pregunta serà cada vegada més important a mesura que els models deixin de limitar-se a respondre i passin a actuar. Els agents poden navegar, utilitzar ordinadors, escriure i executar codi, investigar durant hores, gestionar correus, fer compres i col·laborar amb altres agents. També comencen a participar en el disseny de la següent generació d’IA. En aquest context, la diferència entre avançar durant sis mesos o durant dotze ja no és simplement una qüestió comercial: pot convertir-se en temps disponible per entendre una tecnologia abans que aparegui la següent versió.
El gran canvi d’aquest cap de setmana no és que Silicon Valley hagi decidit aturar la IA. No ho ha fet. És que quatre de les persones amb més capacitat del món per accelerar-la han començat a admetre públicament que avançar tan de pressa com permet la tecnologia potser ja no és l’estratègia més sensata.
Ara falta comprovar si aquesta coincidència inesperada es tradueix en regles, auditories i límits verificables o si queda en una declaració de prudència mentre la cursa continua exactament a la mateixa velocitat. Aquesta serà la prova decisiva, perquè demanar el fre és relativament senzill. El que és realment difícil és aconseguir que quatre competidors que es vigilen mútuament acceptin que cap no premi l’accelerador mentre els altres intenten reduir la velocitat.
