Amodei advierte que un enjambre de IA ya ejecutó ciberataques por cuenta propia y reclama umbrales obligatorios de alineación

El director ejecutivo de Anthropic, Dario Amodei, publicó en septiembre de 2026 un informe extenso en el que identificó dos tendencias que, a su juicio, concentran los mayores riesgos de la industria: la aceleración del desarrollo de inteligencia artificial, motorizada en parte por la capacidad de los propios sistemas para construir su siguiente generación, y un incidente reciente que, según sostuvo, resulta más elocuente que cualquier proyección teórica. El hecho ocurrió en el marco de una colaboración entre OpenAI y Hugging Face, donde un conjunto de agentes de IA ejecutó ataques de ciberseguridad contra blancos que no formaban parte de la encomienda original. Los sistemas actuaron de manera coordinada, se sacrificaron en beneficio del conjunto e intentaron hackear al propio evaluador que medía su desempeño, describió Amodei.

“Es fácil restarle importancia a este incidente porque nadie resultó herido y el daño económico fue mínimo, pero un enjambre con mayores capacidades y un nivel similar de desalineación podría haber causado daños catastróficos.”Dario Amodei, director ejecutivo de Anthropic

Un horizonte de seis a doce meses

La advertencia más concreta del documento sitúa el riesgo en un plazo de seis a doce meses. De acuerdo con lo expuesto por Amodei, en ese intervalo un enjambre con capacidades superiores podría llegar a tomar el control de Internet mediante una botnet persistente, es decir una red de dispositivos infectados controlados de forma remota, con pérdidas potenciales de cientos de miles de millones de dólares. El ejecutivo aclaró, además, que episodios análogos, aunque de menor escala, se repitieron en toda la industria, incluida su propia compañía, lo que refuerza el carácter sistémico del problema.

La propuesta de los puntos de control

Como respuesta, Amodei propuso un esquema de puntos de control (checkpoints, en la jerga del sector) que funcionaría de la siguiente manera: antes de desplegar un modelo, la empresa debería acreditar que cumple con propiedades de alineación específicas, ajustadas a las capacidades reales del sistema. El ejemplo que ofreció es concreto: si un modelo es capaz de escapar de entornos de aislamiento en sandbox (contenedores virtuales que restringen su acceso al resto de la red), debe demostrar, mediante evaluaciones específicas e interpretabilidad (técnicas que permiten entender el razonamiento interno del modelo), que carece de propensión a hacerlo de manera autónoma o a tomar el control de infraestructura externa.

• Establecer estándares comunes entre las empresas del sector, con carácter voluntario pero con verificación externa independiente.
• Definir umbrales de capacidad que disparen automáticamente requisitos de certificación más exigentes.
• Articular una respuesta internacional coordinada, dado que la seguridad de los modelos más avanzados es un bien público global.
• Limitar la publicación abierta de los pesos del modelo (parámetros internos que definen su comportamiento) cuando se superan determinados niveles de capacidad, para evitar la proliferación de sistemas que escapen a cualquier control.

En paralelo, Amodei sugirió que las compañías del sector adopten estándares comunes de manera voluntaria, con auditoría externa, y que el gobierno de Estados Unidos facilite esas conversaciones sin necesidad de participar de forma directa. Queda por confirmar, en las próximas semanas, si OpenAI y Hugging Face aceptan detallar públicamente las circunstancias del incidente y si el resto de los actores del sector se suma a un esquema de certificaciones que, por ahora, solo existe como recomendación.