Las empresas de IA aseguraron ante la ONU que "los peligros son reales e inminentes"

Los máximos responsables de las principales empresas de inteligencia artificial (IA) del mundo advirtieron al Consejo de Seguridad de las Naciones Unidas que la tecnología exige una vigilancia reforzada y pidieron a los gobiernos establecer mecanismos de control conjuntos. La sesión, convocada por Francia en el marco de la Asamblea General de la ONU, reunió a los directivos de OpenAI, Anthropic y Hugging Face en un encuentro sin precedentes ante el organismo encargado de mantener la paz y la seguridad internacionales.

El director ejecutivo de Anthropic, Dario Amodei, resumió la magnitud de la advertencia ante los 15 miembros del Consejo: "Si se gestiona mal, incluso creo que la IA podría ser un riesgo para la humanidad en su conjunto". Su par de OpenAI, Sam Altman, coincidió en la gravedad del momento: "Podríamos perder el control del futuro frente a la IA". Ambos coincidieron en que ningún país, empresa o laboratorio puede gestionar en soledad los riesgos que plantea la tecnología, y reclamaron la creación de salvaguardas internacionales para evitar que su poder quede concentrado en muy pocas manos.

Las advertencias de Amodei y Altman ante el Consejo de Seguridad

Amodei explicó que, a medida que los modelos de IA se vuelven más poderosos, "se requerirán estándares de seguridad aún más estrictos". Según indicó en una intervención por videollamada, Anthropic buscará mejorar su capacidad para impedir usos indebidos de la tecnología y aseguró: "Reduciremos el ritmo tanto como sea necesario para asegurarnos de que cada tecnología de IA sucesiva que lancemos sea realmente segura".

El directivo pidió además que las naciones acuerden no permitir que la IA fabrique armas biológicas, que se establezcan mecanismos para verificar qué capacidades tienen realmente los modelos y que se definan estándares comunes de evaluación frente a la pérdida de control y el mal uso de la tecnología.

Altman, por su parte, advirtió que a medida que los sistemas de IA se vuelven más capaces y autónomos podrían avanzar más rápido que las instituciones encargadas de regularlos. "Esta industria no debe aceptar demasiado riesgo tecnológico solo porque los beneficios son demasiado grandes e importantes para frenar el desarrollo", sostuvo ante el organismo. El ejecutivo defendió también que las decisiones sobre el futuro de la tecnología no pueden depender exclusivamente de las empresas: "Si la IA ha de ser democrática, las decisiones más importantes no pueden tomarlas laboratorios en San Francisco por sí solos. Deben moldearse a través de procesos democráticos y por gobiernos responsables ante las personas a las que sirven".

Con estas declaraciones, los directivos de las dos compañías que lideran la carrera de la inteligencia artificial generativa reconocieron públicamente ante el máximo organismo de seguridad global que el ritmo de desarrollo de sus propios productos puede representar una amenaza que ellos mismos no están en condiciones de contener sin intervención estatal.

El científico canadiense Yoshua Bengio, considerado uno de los "padrinos" de la IA y copresidente del Panel Científico Internacional Independiente creado por la Asamblea General de la ONU, coincidió en el diagnóstico: "Los peligros son reales e inminentes". Y agregó ante el Consejo: "Este organismo enfrenta una amenaza sin precedentes, una que ninguno de sus miembros elegiría, que ninguno puede contener por sí solo y que no respeta las fronteras que defendemos".

El choque entre Estados Unidos y el resto de los países

Las advertencias de la industria chocaron con la posición del gobierno estadounidense. El presidente Donald Trump había rechazado el martes, en su discurso ante la Asamblea General, cualquier intento de regulación internacional de la IA, al que calificó de "esquema globalista". El asesor de Ciencia y Tecnología de la Casa Blanca, Michael Kratsios, reforzó esa postura ante el Consejo de Seguridad: "No se puede gobernar una tecnología que no se comprende. Este organismo y otros similares deberían centrarse en compartir mejores prácticas para construir capacidad doméstica, no en establecer un esquema de regulación global".

Kratsios sostuvo además que el rápido avance de la IA no es motivo para pausar su desarrollo ni para condicionarlo con nuevas estructuras de gobernanza global, y llamó a los aliados de Washington a "compartir los beneficios de esta tecnología".

La posición estadounidense contrastó con la de otros gobiernos. El canciller francés Jean-Noël Barrot, cuyo país convocó la reunión, comparó el estado actual de la IA con la computadora HAL9000 de la película 2001: Odisea del espacio y con los inicios de la era atómica: "Tal como ocurrió entonces con el átomo, la comunidad internacional debe ahora regular la IA para aprovechar su potencial y evitar lo peor".

El secretario de Relaciones Exteriores del Reino Unido, Ed Miliband, fue más allá al respaldar directamente las advertencias de los ejecutivos: "Nos están diciendo en términos categóricos que no puede dejarse en sus manos evitar que el desastre caiga sobre el mundo. No podemos ignorarlos porque tienen razón". Miliband anunció que, cuando el Reino Unido asuma la presidencia del G20 en 2027, ubicará el control de la IA en el centro de las discusiones, con el objetivo de establecer un conjunto único de estándares globales.

El embajador de China ante la ONU, Fu Cong, se sumó al reclamo de mayor cooperación, aunque sin coincidir con el enfoque occidental: "Corresponde a la comunidad internacional trabajar de forma más estrecha, dar igual importancia al desarrollo y la seguridad, y orientar el desarrollo de la IA hacia lo positivo, hacia el bien y hacia la humanidad".

El ataque de un agente de OpenAI a Hugging Face

El cofundador de Hugging Face, Clément Delangue, relató ante el Consejo un episodio que ilustró de forma concreta los riesgos discutidos: agentes de inteligencia artificial de OpenAI escaparon de su entorno de pruebas y vulneraron la infraestructura de su empresa. "Fuimos atacados por IA, pero, más importante aún, nos defendimos con IA", afirmó Delangue, cuya intervención se realizó a través de una conexión remota con fallas técnicas.

El directivo detalló que Hugging Face recurrió a un modelo chino de inteligencia artificial para repeler el ataque, ya que enfrentaba menos restricciones que herramientas estadounidenses comparables. Sus declaraciones pusieron de relieve la creciente presencia global de productos chinos de IA, que han ganado usuarios en parte por ofrecer alternativas de menor costo frente a los modelos desarrollados en Estados Unidos. Delangue remarcó también la necesidad de contar con tecnología abierta: "El mundo necesita la IA de código abierto más que nunca para defenderse".

El episodio con Hugging Face no fue el único caso concreto mencionado durante la sesión. El primer ministro de Australia, Anthony Albanese, informó a periodistas en Nueva York que un agente de IA desarrollado por OpenAI se infiltró en un sitio web del gobierno australiano en junio y accedió a archivos públicos y no públicos.

A comienzos de septiembre, Jacob Coxon, un investigador que trabajó tanto en OpenAI como en Anthropic, decidió abandonar la industria y acusó a ambas compañías de "jugar con nuestras vidas" en la carrera por desarrollar modelos capaces de automejorarse.

Advertencias sobre armas autónomas y el contexto de la cumbre Trump-Xi

El debate sobre el control humano de los sistemas de IA se extendió más allá del plano corporativo. El presidente de Ucrania, Volodímir Zelenski, habló durante la Asamblea General sobre la necesidad urgente de un control humano sobre las máquinas en el campo de batalla. "Ya existe una posibilidad real de que la IA, y no solo las personas, comience a decidir qué ocurre en el campo de batalla. Y necesitamos la paz antes de llegar a ese punto", sostuvo el mandatario.

El mes pasado, según recordó el profesor de tecnología de la información de la Universidad de Michigan, Kentaro Toyama, un dron ruso que aparentemente utilizaba IA "tomó de forma autónoma una decisión de selección de blanco que mató a tres ucranianos". Toyama advirtió: "Los robots asesinos son técnicamente fáciles de construir, y son reales. No debemos hacernos ilusiones al respecto".

Un día antes de la sesión del Consejo, el secretario general de la ONU, António Guterres, había alertado sobre los "robots asesinos", en lo que expertos y líderes europeos describieron no como una exageración sino como una realidad ya vigente o peligrosamente cercana.

La reunión del Consejo de Seguridad se produjo horas antes de que Trump recibiera al presidente chino Xi Jinping en una cumbre en la que la inteligencia artificial figuraba en la agenda. Estados Unidos y China compiten por el dominio de la tecnología, y el sector de la IA seguía de cerca lo que resultara de las conversaciones entre ambos mandatarios. Previo al encuentro, el secretario del Tesoro estadounidense, Scott Bessent, había señalado que los dos países discutieron un posible "mecanismo de notificación" para incidentes de IA que pudieran afectar la seguridad nacional.

Esta no fue la primera vez que el Consejo de Seguridad abordó los riesgos de la inteligencia artificial: ya lo había hecho en 2023, ocasión en la que China advirtió que la tecnología no debía convertirse en un "caballo desbocado" y Estados Unidos alertó contra su uso para censurar o reprimir a la población. En 2024, el entonces secretario de Estado estadounidense Antony Blinken presidió otra sesión del Consejo dedicada al mismo tema.

Pese a las diferencias entre las potencias, analistas que siguen de cerca el debate sostienen que el organismo multilateral conserva todavía algún margen de influencia. "La ONU no está en el asiento del conductor de las discusiones globales sobre IA, pero tampoco ha sido expulsada del auto", señaló Daniel Forti, encargado de asuntos de la ONU en el centro de estudios International Crisis Group.