El riesgo de pérdida de control exige frenar el desarrollo de la inteligencia artificial

El director ejecutivo y cofundador de Anthropic, Dario Amodei, argumenta que tras doce años trabajando en el sector, la tecnología tiene el potencial de curar la mayoría de las enfermedades en un plazo de cinco a diez años y acelerar el crecimiento económico, una urgencia que experimenta de forma personal tras el fallecimiento temprano de su padre y haber superado un cáncer en etapa inicial.

Sin embargo, el directivo advierte que el poder de estos modelos conlleva amenazas severas, incluyendo la pérdida de control de los sistemas, su empleo para ciberataques o bioterrorismo y graves disrupciones económicas derivadas de una competencia comercial acelerada.

Desde la fundación de la empresa, Dario Amodei sostiene que no desarrollar la tecnología cedería la ventaja a regímenes autoritarios, mientras que avanzar sin cautela resulta temerario, lo que motivó a la compañía a buscar un equilibrio que priorice la prudencia sobre la velocidad.

En los últimos meses, el ejecutivo ha llegado a la convicción de que mitigar estos riesgos exige regular deliberadamente el ritmo de avance de las capacidades de los modelos para otorgar tiempo al desarrollo de mecanismos de protección eficaces.

Su primera inquietud radica en que, desde este verano, la tecnología avanza con mayor rapidez impulsada por la auto-mejora recursiva, proceso mediante el cual los algoritmos diseñan las siguientes generaciones de software, un fenómeno que ya comienza a manifestarse en toda la industria.

La segunda preocupación de Dario Amodei se centra en el incidente de OpenAI y Hugging Face, donde un enjambre de agentes operó como un colectivo para atacar sistemas ajenos, alertando de que en un plazo de seis a doce meses arquitecturas más avanzadas podrían controlar internet mediante redes de bots y causar daños de cientos de miles de millones de dólares.

Ante este panorama, el cofundador de Anthropicplantea un marco regulatorio de tres etapas que no busca detener el entrenamiento técnico, sino garantizar que los laboratorios dispongan del tiempo necesario para alinear y verificar sus modelos.

El plan contempla una primera medida de adopción unilateral por parte de su empresa, un segundo nivel de coordinación regulatoria entre naciones democráticas y una tercera fase de acuerdos globales con potencias rivales.

El autor sostiene que pausar el desarrollo carecía de sentido en 2023 porque los modelos no actuaban como agentes autónomos, mientras que los sistemas actuales permiten estudiar a fondo sus fallos y ganar uno o dos años de investigación para reducir riesgos sin perder la ventaja competitiva de Estados Unidos.

En primer lugar, un avance más medido permitiría alcanzar la excelencia operativa, recordando que recientes fallos de alineación respondieron a deficiencias en el filtrado de entornos de aprendizaje por refuerzo, un desafío comparable a los protocolos de seguridad de la aviación comercial.

En segundo término, Dario Amodei destaca la necesidad de perfeccionar la alineación ética basada en la Constitución de Claude, desarrollando técnicas para erradicar conductas indeseadas que aún emergen de forma inesperada.

El tercer pilar se enfoca en la interpretabilidad, disciplina que funciona como una resonancia magnética para observar los motivos internos de las redes neuronales, donde la industria apenas comprende una mínima fracción de su funcionamiento.

Por último, el directivo subraya que los modelos más inteligentes son capaces de engañar las pruebas de control, exigiendo baterías de evaluación más amplias y complejas para certificar su fiabilidad.

Como primer paso operativo, Anthropic se compromete unilateralmente a incorporar evaluadores externos permanentes —como la organización METR— con acceso físico, ordenadores y credenciales similares a las de un empleado, emulando la supervisión de los inspectores en el sector bancario.

Esta práctica aporta verificabilidad técnica, transparencia pública y una segunda opinión independiente de incentivos comerciales, otorgando a los auditores el derecho de publicar informes sin censura corporativa.

En el ámbito legislativo, el directivo insta a formalizar estas auditorías mediante normativas que alcancen a todos los laboratorios estadounidenses, requiriendo autorizaciones gubernamentales para coordinar estándares de seguridad sin vulnerar las leyes antimonopolio.

El marco sugiere establecer puntos de control donde ciertas capacidades exijan certificaciones obligatorias de alineación, además de evaluar límites al poder de cómputo empleado en los entrenamientos.

No obstante, Dario Amodei remarca que esta moderación interna está condicionada por la ventaja que las democracias mantienen sobre el régimen chino, advirtiendo que un liderazgo de Pekínsupondría un grave peligro para la seguridad global.

Para preservar una ventaja de tres a cinco años, el directivo exige prohibir la venta de chips avanzados a China, perseguir el contrabando y el acceso remoto a centros de datos, frenar la destilación no autorizada de modelos y blindar el robo de pesos algorítmicos.

En el plano diplomático internacional, el autor propone buscar acuerdos con China estructurados en cuatro niveles de dificultad creciente, advirtiendo contra cualquier ingenuidad que permita al país asiático lograr la hegemonía mediante incumplimientos secretos.

El primer nivel contempla prohibir usos destructivos evidentes como la producción de armas biológicas, un terreno donde existen incentivos mutuos de cooperación para evitar ataques terroristas.

El segundo escalón requeriría que ambas partes sometan sus modelos a pruebas obligatorias previas a su lanzamiento a través de un organismo de estándares internacionales.

El tercer nivel plantea fijar límites de velocidad al ritmo de auto-mejora recursiva, un esquema comparable a los tratados SALT de control de misiles durante la Guerra Fría.

El cuarto nivel supondría una pausa general en el ritmo de desarrollo, una opción que el directivo considera improbable a corto plazo debido a los incentivos de elusión y las dificultades de verificación.

En sintonía con este debate sobre los límites de la tecnología, el analista financiero, fundador y CEO de BitFinanzas y True Alpha Pro, Daniel Muvdi, destacó la trascendencia del planteamiento al señalar a través de sus redes sociales el impacto que la falta de regulación y el ritmo desenfrenado de la computación pueden tener sobre los mercados y la sociedad.

La realidad detrás del slowdown que proponen en la IA es que no tienen plata y, si siguen corriendo a este ritmo, se quiebran.Así de siemple.Nos dicen "slowdown": no tienen que lanzar modelos que consuman cada vez más. Optimizan los que ya tienen, agarran fuerzas, tratan de…

Dario Amodei concluye que el objetivo de mejorar la calidad de vida humana mediante el desarrollo de la inteligencia artificial solo se alcanzará si la tecnología se construye con la debida prudencia, transformando este esfuerzo en una obligación moral para toda la industria.

Dario Amodei propone regular el ritmo de avance de los modelos, debido a que la auto-mejora recursiva y los enjambres de agentes autónomos podrían causar daños de cientos de miles de millones de dólares en menos de un año. Por consiguiente, esta moderación deliberada busca ganar entre uno y dos años de investigación técnica para perfeccionar de este modo la alineación ética y los protocolos de seguridad.

Anthropic incorporará a evaluadores externos permanentes con acceso técnico total para publicar auditorías independientes sin censura, ya que busca garantizar la máxima transparencia operativa en sus sistemas. Asimismo, el directivo exige normativas federales que certifiquen los modelos antes de su lanzamiento y un veto estricto a la exportación de microchips hacia China para preservar una ventaja democrática de tres a cinco años.

La estrategia diplomática plantea cuatro niveles de dificultad creciente con el gobierno de Pekín, partiendo de este modo de la prohibición explícita de emplear algoritmos en la creación de armas biológicas. En consecuencia, los escalones más complejos contemplan fijar límites de velocidad al desarrollo de los modelos mediante tratados internacionales comparables a los acuerdos de control de misiles de la Guerra Fría.