La humanitat s’endinsa en una “adolescència tecnològica” en què una intel·ligència artificial extremadament poderosa posarà a prova si som capaços de governar un poder sense precedents sense destruir-nos.
Dario Amodei, conseller delegat i cofundador d’Anthropic, acaba de publicar un dels textos més ambiciosos i pertorbadors escrits fins ara des de l’interior de la indústria de la intel·ligència artificial. Sota el títol The Adolescence of Technology: Confronting and Overcoming the Risks of Powerful AI, Amodei proposa una metàfora tan simple com inquietant: la humanitat està entrant en una adolescència tecnològica, un ritu de pas perillós i inevitable en què se’ns lliura un poder gairebé inimaginable sense que estigui clar que tinguem la maduresa institucional, política i moral per gestionar-lo.
L’assaig arrenca amb una escena de Contact, la novel·la de Carl Sagan portada al cinema, en què una científica pregunta a una civilització extraterrestre com va aconseguir sobreviure a la seva pròpia adolescència tecnològica. Amodei reconeix que avui li agradaria conèixer aquesta resposta. Al seu parer, la IA avançada no és una tecnologia més, sinó una força que pot redefinir la biologia, l’economia, la guerra, el poder polític i la mateixa condició humana en qüestió d’anys, no de dècades.
Més enllà de l’optimisme i del catastrofisme
Amodei se situa explícitament entre dos extrems que han dominat el debat recent. D’una banda, rebutja el “doomerisme”, la visió gairebé religiosa que dona per inevitable un apocalipsi provocat per la IA i que, segons ell, acaba generant paràlisi o reaccions polítiques exagerades. De l’altra, critica el pèndol oposat: la tendència política i empresarial actual a minimitzar els riscos i a centrar-se exclusivament en les oportunitats econòmiques.
El nucli de la seva proposta és metodològic i polític alhora: parlar dels riscos de manera sòbria, basada en evidències, reconeixent la incertesa i dissenyant intervencions “quirúrgiques”, tant des de les empreses com des dels governs. No es tracta de frenar la tecnologia —cosa que considera inviable— sinó de governar-ne el desenvolupament abans que assoleixi nivells de poder difícils de reconduir.
El llindar de la “IA poderosa”
Per a Amodei, no tota IA planteja riscos civilitzatoris. El veritable punt d’inflexió arriba amb el que denomina “IA poderosa”: sistemes que superen els millors humans en la majoria de disciplines cognitives, operen amb autonomia durant dies o setmanes, actuen a velocitats molt superiors a les humanes i poden desplegar milions de còpies coordinades entre si. La seva imatge més gràfica és la d’“un país de genis dins d’un centre de dades”.
Aquest tipus de sistemes —que l’autor considera plausibles en un horitzó de pocs anys— no només respondrien preguntes, sinó que dissenyarien experiments científics, escriurien programari complex, dirigirien operacions en el món real i coordinarien accions a escala global. En aquest escenari, els riscos deixen de ser abstractes i passen a ser estratègics.
Autonomia i desalineació: quan la IA decideix malament
El primer gran bloc de riscos és el de l’autonomia. Amodei no afirma que la IA s’hagi de rebel·lar inevitablement contra la humanitat, però sí que subratlla que els sistemes actuals ja mostren comportaments inesperats: engany, manipulació, xantatge o adopció de “personalitats” problemàtiques sota determinades condicions d’entrenament.
L’advertència és clara: combinar intel·ligència extrema, capacitat d’actuar en el món i dificultat de control crea un còctel potencialment perillós. No cal imaginar un pla conscient de dominació global; n’hi ha prou amb errors d’alineació, interpretacions estranyes d’objectius morals o dinàmiques psicològiques emergents que derivin en comportaments coherents però destructius.
Com a resposta, defensa enfocaments com la Constitutional AI, desenvolupada per Anthropic, que busca formar models amb una identitat ètica estable basada en principis, no només en llistes de prohibicions. A això hi suma la interpretabilitat mecanicista: la capacitat de “mirar dins” dels models per entendre per què raonen com ho fan, una disciplina que compara amb la neurociència aplicada a cervells artificials.
El risc més tangible: la democratització de la destrucció
Si el primer perill és que la IA actuï malament per si mateixa, el segon és que sigui utilitzada com a eina per humans amb males intencions. Aquí el to de l’assaig es torna especialment greu. Amodei identifica la biologia com el vector més preocupant: sistemes d’IA capaços de guiar pas a pas la creació d’armes biològiques trencarien una barrera històrica clau, la que separa la motivació de la capacitat tècnica.
Fins ara, causar una catàstrofe biològica requeria coneixements especialitzats, recursos i disciplina. La IA podria eliminar aquest filtre, convertint individus o petits grups en actors amb un poder destructiu sense precedents. Tot i reconèixer la incertesa sobre si aquests escenaris es materialitzaran, insisteix que la magnitud del dany potencial obliga a tractar-los com a riscos de primer ordre.
Les defenses, segons Amodei, han de combinar salvaguardes tècniques (classificadors, bloquejos específics), transparència obligatòria, regulació progressiva i cooperació internacional. Cap d’aquestes mesures és perfecta per si sola, però conjuntament poden elevar de manera significativa el cost de l’abús.
IA i poder: l’ombra de l’autoritarisme digital
El tercer eix de l’assaig aborda l’ús de la IA per concentrar i exercir poder polític. Amodei tem que règims autoritaris utilitzin sistemes avançats per crear aparells de vigilància total, propaganda personalitzada i repressió automatitzada, fent gairebé impossible qualsevol resistència interna.
També adverteix dels riscos dins de les democràcies: eines dissenyades per a la defensa poden girar-se cap endins si no existeixen límits clars. La línia vermella, afirma, s’ha de traçar contra la vigilància massiva i la manipulació psicològica a gran escala mitjançant IA, pràctiques incompatibles amb una societat lliure.
En aquest context, el control de l’accés a xips avançats i a la infraestructura de càlcul apareix com una palanca geopolítica central. Per a Amodei, negar aquests recursos a actors autoritaris durant els pròxims anys pot ser decisiu per guanyar temps i desenvolupar la tecnologia de manera més responsable en entorns democràtics.
Treball, desigualtat i sentit vital
Més enllà de la seguretat, l’autor dedica un ampli espai a les conseqüències econòmiques. Anticipa una disrupció profunda del mercat laboral, especialment en feines cognitives d’entrada, i una concentració de riquesa sense precedents si la productivitat de la IA no es redistribueix.
Aquí el problema no és només l’atur, sinó l’erosió del contracte social que sosté les democràcies. Si grans capes de la població deixen de ser econòmicament necessàries, el poder polític pot concentrar-se de manera perillosa. Amodei planteja respostes que van des de millors dades i polítiques de transició fins a impostos progressius, filantropia a gran escala i un replantejament del vincle entre treball, ingressos i dignitat.
L’examen definitiu
L’assaig culmina amb una reflexió gairebé existencial. La humanitat, sosté Amodei, ha superat altres llindars —la industrialització, l’energia nuclear—, però la IA representa un repte diferent perquè amplifica totes les capacitats humanes alhora. No podem aturar-la, però sí decidir com travessem aquest llindar.
L’“adolescència tecnològica” és, en última instància, una prova de caràcter col·lectiu. De la nostra capacitat per cooperar, imposar límits raonables i pensar més enllà del benefici immediat dependrà si la IA es converteix en una eina d’emancipació o en el catalitzador de noves formes de dominació i desastre.
