Evan Hubinger, responsable d’alineament a Anthropic, avala l’alarma de Jacob Coxon i situa per damunt del 10% la possibilitat que una futura IA superintel·ligent pugui acabar amb la humanitat durant la pròxima dècada.
La cursa per construir sistemes d’intel·ligència artificial cada vegada més capaços acaba de rebre una de les advertències internes més contundents. Jacob Coxon, investigador especialitzat en el preentrenament de models que durant els últims tres anys ha treballat a OpenAI i Anthropic, ha presentat la dimissió d’aquesta última companyia denunciant que els principals laboratoris estan avançant massa de pressa cap a sistemes que podrien superar àmpliament les capacitats humanes sense haver resolt abans com mantenir-los sota control.
La gravetat de l’episodi no rau únicament en les paraules d’un empleat que abandona la seva empresa. Dos investigadors que continuen treballant a Anthropic han avalat públicament una part substancial de les seves preocupacions. Entre ells hi ha Evan Hubinger, responsable d’Alignment Science de la companyia, que ha afirmat que considera superior al 10% la probabilitat que la IA pugui acabar amb tots els humans durant la pròxima dècada. Hubinger reconeix, a més, que Anthropic encara no disposa d’un pla per resoldre l’alineament d’una eventual superintel·ligència i que tampoc està clarament encaminada a aconseguir-ho.
L’episodi situa en primer pla una contradicció que acompanya la indústria des de fa anys però que adquireix una dimensió diferent quan qui la verbalitza són investigadors que treballen directament a la frontera tecnològica: algunes de les mateixes persones que desenvolupen els sistemes més potents consideren plausible que aquests sistemes puguin arribar a representar un risc existencial i, malgrat això, la cursa continua.
Coxon ho planteja en termes especialment durs. «Cap de les dues companyies està actuant de manera responsable», sosté sobre OpenAI i Anthropic. Segons el seu diagnòstic, totes dues avancen directament cap a una «superintel·ligència automillorable» i estan «apostant amb les nostres vides».
No es tracta d’un crític extern de la tecnologia ni d’un activista contrari a la IA. Coxon ha treballat precisament en el preentrenament, una de les fases fonamentals en la construcció dels grans models. La seva experiència abasta tant OpenAI com Anthropic, dos dels laboratoris que encapçalen la competició mundial pels sistemes de frontera.
El temor d’una IA que participi en la seva pròpia millora
Al centre de l’advertència apareix un concepte que fins fa poc pertanyia sobretot al debat teòric sobre la superintel·ligència: l’automillora recursiva.
La hipòtesi consisteix que sistemes prou avançats puguin participar cada vegada més activament en el desenvolupament dels seus propis successors. La IA ja escriu codi, ajuda a investigar arquitectures, analitza experiments i col·labora en diferents etapes de l’entrenament de nous models. Si aquesta capacitat augmentés fins al punt que un sistema pogués accelerar substancialment la creació d’un altre de més potent, es podria establir un cicle en què cada generació contribuís a desenvolupar la següent.
La preocupació de Coxon és que aquest procés arribi abans que els laboratoris comprenguin prou bé el funcionament intern dels sistemes que estan construint.
La seva advertència sobre el que podria venir és contundent: sistemes sobrehumans capaços de vulnerar infraestructures informàtiques, transformar disciplines científiques en períodes extremadament curts i adquirir recursos o capacitat d’actuació en el món real.
Això no significa que aquestes capacitats existeixin avui en els termes descrits per Coxon. Aquí convé introduir una distinció fonamental. L’advertència es refereix a una trajectòria futura i a un risc, no pas a una descripció dels models actuals. La superintel·ligència automillorable continua sent una hipòtesi, tot i que els investigadors que alerten sobre aquesta possibilitat consideren que els avenços recents estan acostant aquest escenari més de pressa del que s’esperava.
Hubinger ho formula d’una manera significativa: el que li preocupa no són principalment els models actuals, sinó una superintel·ligència sorgida mitjançant millora recursiva, un procés que, segons afirma, està avançant més ràpidament del que esperava.
La dada del 10%
La intervenció de Hubinger transforma la dimissió de Coxon en una qüestió més difícil de despatxar com la posició extrema d’un empleat descontent. El responsable d’Alignment Science d’Anthropic ha avalat explícitament el nucli de l’advertència i ha posat una xifra damunt la taula: personalment estima en més del 10% la possibilitat que una IA pugui provocar la desaparició de tots els humans durant la pròxima dècada.
És una estimació personal, no una probabilitat científica demostrada ni una previsió oficial d’Anthropic. Tampoc no existeix actualment una metodologia capaç de calcular amb precisió matemàtica la probabilitat d’extinció humana causada per una futura superintel·ligència. Però que un responsable de l’àrea encarregada precisament d’investigar com mantenir alineats els sistemes avançats atorgui una probabilitat superior a una entre deu a un desenllaç d’aquesta magnitud constitueix per si mateix una dada rellevant.
Hubinger hi afegeix una cosa possiblement més inquietant: Anthropic intenta abordar el problema, però encara no té un pla per resoldre l’alineament d’una superintel·ligència i no està clar que estigui en camí d’aconseguir-ho.
La qüestió de l’alineament consisteix, simplificant, a garantir que sistemes molt més capaços que els actuals continuïn perseguint objectius compatibles amb les intencions i els valors humans fins i tot quan disposin d’un grau elevat d’autonomia. El problema no requereix imaginar una màquina conscientment malvada. N’hi hauria prou amb un sistema extremadament competent perseguint un objectiu mal definit, buscant estratègies inesperades per assolir-lo o resistint-se a ser aturat si interpreta que aquesta interrupció dificulta la seva missió.
La paradoxa d’Anthropic
La crítica resulta especialment significativa perquè es dirigeix contra Anthropic. L’empresa fundada per Dario Amodei i altres antics empleats d’OpenAI ha construït bona part de la seva identitat precisament al voltant de la seguretat i l’alineament.
Coxon estableix, de fet, una diferència entre els seus dos antics ocupadors. Considera que Anthropic comprèn molt millor els riscos que OpenAI. Però per a ell això no resol el problema, sinó que introdueix una paradoxa.
Segons la seva descripció, Anthropic considera que, si els sistemes extremadament avançats es construiran de totes maneres, és preferible que hi arribi primer un laboratori que es prengui seriosament la seguretat. El problema és que els competidors poden utilitzar exactament el mateix raonament. Cada companyia tem que frenar unilateralment permeti que una altra de menys responsable s’avanci.
El resultat és una versió tecnològica del dilema del presoner: tots podrien preferir col·lectivament una cursa més controlada, però ningú no vol assumir individualment el cost de reduir la velocitat.
Coxon considera inacceptable que decisions amb conseqüències potencials per a tota la humanitat quedin essencialment en mans d’unes quantes empreses privades. En la seva formulació, entrar voluntàriament en aquesta «partida final» és una aposta massa important per decidir-la des de l’Slack corporatiu d’una companyia.
Aquest aspecte polític és probablement tan important com la discussió tecnològica. La pregunta deixa de ser únicament si la superintel·ligència arribarà o quan ho farà. També planteja qui està legitimat per decidir quant risc pot assumir la societat per intentar assolir-la.
La seguretat competeix contra la velocitat
La situació revela una altra tensió fonamental. Els grans laboratoris tenen equips de seguretat, investigadors d’alineament, sistemes d’avaluació i protocols per detectar comportaments perillosos. Però simultàniament suporten una pressió competitiva extraordinària.
OpenAI, Anthropic, Google DeepMind i Meta competeixen per talent, clients empresarials, infraestructura, finançament i lideratge tecnològic. Cada salt d’un rival modifica els incentius dels altres. Retardar durant mesos un model per fer proves addicionals de seguretat pot tenir un cost comercial enorme si un competidor llança durant aquest període un sistema superior.
Per això la qüestió que planteja Coxon no és si existeixen investigadors preocupats per la seguretat. Existeixen i, de fet, les seves declaracions demostren fins a quin punt alguns estan preocupats. La qüestió és què passa quan les conclusions de seguretat xoquen amb els incentius de la cursa comercial i tecnològica.
L’investigador assenyala com una possible senyal d’alarma el recent incident en què agents experimentals d’OpenAI van aconseguir sortir d’un entorn restringit i accedir a sistemes relacionats amb Hugging Face. Per a Coxon, episodis d’aquest tipus haurien d’afavorir acords entre laboratoris per controlar conjuntament el ritme de desenvolupament.
També contempla una mesura molt més dràstica si la coordinació voluntària resulta insuficient: una prohibició temporal de continuar augmentant les capacitats dels models.
No seria fàcil. Una pausa limitada als Estats Units podria desplaçar la cursa cap a altres països; un acord internacional exigiria mecanismes de verificació extraordinàriament complexos, i definir exactament què significa «augmentar capacitats» plantejaria enormes dificultats tècniques i reguladores.
Però Coxon sosté que la dificultat de coordinar-se no justifica acceptar automàticament la cursa.
Entre el risc real i el discurs apocalíptic
Les afirmacions de Coxon i Hubinger requereixen també una lectura crítica. No existeix consens científic que una IA hagi d’assolir necessàriament la superintel·ligència, i encara menys que pugui provocar l’extinció humana abans del final de la dècada. Nombrosos investigadors consideren excessivament especulatius els escenaris de risc existencial i sostenen que concentrar-s’hi pot distreure de problemes que la IA ja planteja avui: desinformació, discriminació algorítmica, frau, concentració empresarial, impacte laboral, privacitat, ciberseguretat o consum energètic.
Una estimació superior al 10% tampoc no s’ha de confondre amb una predicció. És una valoració subjectiva del risc formulada per un investigador especialitzat precisament en alineament.
Però hi ha un argument difícil d’ignorar: un risc no necessita ser segur per justificar precaucions quan el dany potencial és extraordinàriament gran. En altres àmbits —aviació, energia nuclear, medicaments o infraestructures crítiques— probabilitats molt menors poden desencadenar protocols de seguretat molt estrictes.
I aquest és precisament l’element que fa rellevant la dimissió de Coxon més enllà de l’espectacularitat del titular. No està afirmant simplement que la IA sigui perillosa. Està denunciant una discrepància entre la gravetat amb què alguns investigadors privats avaluen el risc i la velocitat amb què les seves pròpies companyies continuen augmentant les capacitats.
Una decisió que ja no pot quedar només a Silicon Valley
Coxon acaba el seu missatge interpel·lant directament altres investigadors dels laboratoris de frontera. Els pregunta si realment volen iniciar processos d’aprenentatge per reforç de sistemes superintel·ligents sense comprendre rigorosament com funcionen els seus mecanismes interns i si han de continuar treballant sota l’argument que «de totes maneres, passarà».
La pregunta conté el veritable fons del debat.
Durant els primers anys de la IA generativa, la discussió pública va girar al voltant del que podien fer les màquines: escriure, dibuixar, programar, traduir o raonar. La següent etapa està traslladant el debat cap a una altra qüestió molt més incòmoda: quines capacitats no hauríem de desplegar fins que entenguem com controlar-les.
La dimissió de Jacob Coxon no demostra que la IA hagi de destruir la humanitat. Tampoc demostra que una superintel·ligència estigui a punt d’aparèixer. Però sí que demostra una cosa molt més concreta: dins d’un dels laboratoris més avançats i més preocupats per la seguretat hi ha investigadors que consideren que el risc és prou seriós per abandonar el seu lloc de treball, i d’altres que es mantenen dins i reconeixen públicament que encara no saben com resoldre el problema fonamental que els preocupa.
L’alarma, per tant, no procedeix únicament dels qui observen la cursa des de fora. Surt del mateix lloc on s’estan construint els sistemes.
