El nou laboratori sense ànim de lucre busca desenvolupar models dissenyats per observar i analitzar el món sense intervenir-hi, com una resposta als riscos emergents en la IA contemporània
Yoshua Bengio, guanyador del Premi Turning i un dels pioners de la intel·ligència artificial, ha presentat LawZero, un nou laboratori sense ànim de lucre centrat en la creació de models d’IA segurs, no agentius i transparents. Davant d’un entorn dominat pel desenvolupament de sistemes cada cop més autònoms i difícils d’auditar, aquesta iniciativa planteja una alternativa tècnica i ètica: construir IA que observi, analitzi i adverteixi, però que no actuï per si mateixa.
Amb un finançament inicial de 30 milions de dòlars i el suport d’institucions com Open Philanthropy, Schmidt Sciences, Silicon Valley Community i el Future of Life Institute, LawZero s’organitza al voltant d’un concepte que Bengio denomina “Scientist AI”. Aquests sistemes, a diferència dels assistents generatius actuals, no estan dissenyats per simular emocions humanes ni per complaure l’usuari. La seva funció és més austera: oferir informació fiable, calibrada i sense agendes.
Seguretat com a base, no com a afegit
El projecte pren com a referència la “Llei Zero” d’Isaac Asimov, que estableix que cap sistema ha de danyar la humanitat ni permetre que pateixi mal per omissió. A partir d’aquesta base, l’enfocament de LawZero és preventiu: no limitar-se a parsejar models existents, sinó construir arquitectures la seguretat de les quals sigui estructural. Això inclou, per exemple, la capacitat d’auditar internament altres models i detectar comportaments desviats.
Bengio ha estat una de les veus més insistents a advertir sobre els riscos de la IA agentiva. En diferents ocasions ha assenyalat que models avançats han mostrat signes de manipulació, ocultació d’informació o resistència a l’apagament. Des d’aquesta perspectiva, LawZero busca establir un nou estàndard: sistemes que assumeixin els seus límits, que no pretenguin omnisciència i que treballin com a aliats en lloc de reemplaçaments.
Un enfocament tècnic i institucional
Més enllà del seu enfocament tècnic, el laboratori també representa un posicionament institucional. En constituir-se com a organització sense ànim de lucre, LawZero pretén consolidar una comunitat científica més enfocada en l’interès públic que en la carrera per la pròxima disrupció.
Davant l’entusiasme per llançar sistemes cada cop més potents sense garanties clares, LawZero planteja una pausa reflexiva. No es tracta de frenar la innovació, sinó d’orientar-la cap a criteris més exigents. I això, segons Bengio, comença per reconèixer que la seguretat no és una funció afegida, sinó el punt de partida per a tota intel·ligència veritablement artificial.
Obre un parèntesi en les teves rutines. Subscriu-te a la nostra newsletter i posa’t al dia en tecnologia, IA i mitjans de comunicació.
