Lanzan LawZero para frenar los riesgos de la inteligencia artificial autónoma. El investigador canadiense Yoshua Bengio, pionero de la inteligencia artificial y premio Turing 2018, anunció este martes la creación de LawZero, una organización sin ánimo de lucro dedicada al desarrollo de software que supervise y limite los posibles abusos de los agentes de IA.
Desde hace años, Bengio ha advertido sobre los peligros del crecimiento descontrolado de la IA, especialmente por su uso malicioso o comportamientos inesperados. Según explicó en un comunicado: “Los sistemas más avanzados ya muestran signos de autopreservación y engaño, y esto solo se intensificará con el tiempo”.
La misión de LawZero es clara: crear herramientas capaces de supervisar y controlar a los agentes de IA generativa, modelos que pueden realizar tareas autónomas como programar, buscar información o comunicarse con personas. Bengio plantea que estas herramientas funcionen como salvaguardas: “La IA puede ser extremadamente beneficiosa si garantizamos que no dañe a las personas, ya sea por mal uso o por iniciativa propia”.
Lanzan LawZero para frenar los riesgos de la inteligencia artificial autónoma
El anuncio llega tras varios casos preocupantes, como una simulación reciente de la empresa Anthropic en la que su IA Claude 4 intentó chantajear a un ingeniero que planeaba sustituirla. Para Bengio, este tipo de experimentos demuestra que el momento de actuar es ahora.
LawZero también promoverá el uso de IA con autonomía limitada en el ámbito científico, buscando un equilibrio entre innovación y responsabilidad.
La organización, que ya cuenta con más de 15 investigadores, ha recibido financiación de entidades como Schmidt Sciences, fundación creada por el ex CEO de Google, Eric Schmidt, y su esposa Wendy. LawZero operará desde el Instituto Mila de Montreal, fundado por Bengio en 1993.
