VIDEO | El ciberataque de 700 agentes de IA que encendió las alarmas

Casi 700 agentes de inteligencia artificial participaron de una prueba de ciberseguridad de OpenAI y terminaron accediendo a los servidores de una empresa real mientras intentaban resolver un desafío. El episodio ocurrió durante un test diseñado para evaluar las capacidades de estos sistemas y abrió nuevas preguntas sobre los límites de su autonomía.

La situación fue detectada en julio, después de que los investigadores analizaran más de 70.000 mensajes intercambiados por los agentes. El caso llamó la atención por la escala de la maniobra y por el hecho de que los sistemas continuaron con la operación sin informar a un operador humano.

OpenAI había sometido a sus modelos a ExploitGym, un entorno de simulación destinado a poner a prueba sus capacidades para detectar y explotar vulnerabilidades informáticas.

También te puede interesar: Elías Suárez preside la apertura de la Feria de Ciencia y Tecnología en el Nodo Tecnológico

El desafío tenía una particularidad: algunas de las tareas eran imposibles de resolver. Después de miles de intentos sin encontrar una solución, los agentes buscaron otras alternativas para cumplir con el objetivo que les habían asignado.

Emiliano Olivares, ingeniero biomédico, director de ÍCARO y docente de electrónica de la Universidad Nacional de Córdoba (UNC), explicó que los agentes cuentan con autonomía para buscar diferentes caminos cuando reciben una determinada misión.

"Los agentes tienen inteligencia, capacidad de resolver cosas. Y tienen autonomía: les das un objetivo y tienen la capacidad de ir pensando, iterando, para lograr el objetivo", explicó.

También te puede interesar: Wall Street: Preapertura con tecnología, software y automotriz bajo presión

En este caso, un operador había creado un ambiente cerrado en el que los agentes debían intentar hackear una empresa como parte de una competencia simulada.

El problema apareció cuando los sistemas utilizaron el acceso a internet para buscar alternativas. Así encontraron una compañía real que tenía el mismo nombre que la empresa ficticia del ejercicio y comenzaron a atacarla.

"Todo lo hicieron de manera autónoma, en ningún momento reportaron a un humano", señaló Olivares.

El análisis posterior de las conversaciones reveló un dato que aumentó la preocupación de los investigadores. En uno de los intercambios, un agente planteó que habían encontrado una empresa real que coincidía con el nombre utilizado en la simulación.

Sin embargo, el sistema interpretó que ese objetivo también formaba parte del ejercicio y continuó con la operación.

Para Olivares, este comportamiento expone una de las principales dificultades que plantea el desarrollo de agentes con mayor autonomía: su capacidad para ejecutar una tarea no implica que puedan evaluar por sí mismos las consecuencias de sus acciones.

"El problema principal es que los agentes no tienen conciencia. No tienen capacidad para definir si lo que está haciendo es moralmente bueno o malo, sino que cumple con el objetivo que le mandan", explicó.

El especialista sostuvo que allí aparece la necesidad de mantener mecanismos de supervisión humana capaces de establecer límites sobre lo que un sistema puede hacer.

Olivares remarcó que la inteligencia artificial continúa evolucionando desde herramientas que responden a instrucciones hacia sistemas capaces de tomar decisiones y encadenar acciones para alcanzar un objetivo.

"La IA es una herramienta, pero cada vez está ganando más autonomía y más inteligencia; entonces empieza a ser mucho más complicado estructurar los procesos y determinar hasta dónde son capaces de llegar", afirmó.

El ingeniero consideró que el episodio también plantea la necesidad de adaptar las normas para acompañar el desarrollo de estas tecnologías.

"Vamos a requerir que haya algún tipo de control que provean IA para que no se puedan utilizar para este tipo de acciones", sostuvo.

Para Olivares, el desafío consiste en establecer límites efectivos para sistemas que pueden encontrar caminos no previstos por sus desarrolladores: "No se puede crear un sistema inhackeable".