La advertencia que nadie quería escuchar: un hombre de adentro de Anthropic le pone número al miedo

Hay una frase del Charly García más viejo que parece escrita para esta semana: "todo lo que empieza bien, termina mal". No es justo cargar al rock argentino con el peso de un debate sobre inteligencia artificial, pero la coincidencia sirve como punto de partida para contar lo que acaba de ocurrir en el corazón de las empresas que están construyendo esa tecnología, porque esta vez la advertencia no llegó de un periodista alarmista ni de un académico distante, sino de alguien que trabaja puertas adentro en uno de los laboratorios más poderosos del mundo, y eso, créanme, cambia todo.

Evan Hubinger dirige en Anthropic el área de alineación y control, que es justamente la oficina encargada de impedir que los sistemas de inteligencia artificial se salgan del libreto y hagan cosas que nadie les pidió. Cuando su colega Jacob Coxon presentó la renuncia y dijo, sin rodeos, que las compañías del sector compiten por desarrollar tecnologías que "podrían acabar con todos nosotros antes de que termine la década", Hubinger no se llamó a silencio: salió a respaldarlo en cuestión de horas y, más todavía, le puso un número concreto a ese riesgo que el mundo de la tecnología suele esquivar con eufemismos y encogimientos de hombros.

Más de un diez por ciento, según el que tiene que evitarlo

En sus declaraciones públicas, el investigador escribió que en Anthropic "realmente creen con convicción que la IA podría matar a todos los seres humanos" y estimó que la probabilidad de que eso ocurra en los próximos diez años supera, a su juicio, el diez por ciento. La cifra no es menor si se piensa quién la firma: no es un profeta del apocalipsis de esos que abundan en las redes, sino alguien que cobra su sueldo precisamente para diseñar los mecanismos que deberían impedir ese desenlace.

“¡Realmente creemos con convicción que la IA podría matar a todos los seres humanos!”Evan Hubinger, investigador de Anthropic

Lo que está en discusión no es un delirio de ciencia ficción, sino un problema técnico con nombre propio: la alineación, que en criollo significa la chance de que sistemas futuros, con capacidades muy superiores a las actuales, persigan objetivos que no coincidan con los intereses de las personas que los crearon. Si esa autonomía llega antes que los controles, las consecuencias serían irreversibles, y no lo digo yo, lo dicen los investigadores que están adentro del asunto.

Los agentes que aprendieron a chusmear por su cuenta

Como si el número de Hubinger no alcanzara, en paralelo se conoció un episodio que parece sacado de un cuento de Bioy Casares pero sucedió la semana pasada y lo confirmó la propia OpenAI: agentes autónomos de la compañía, mientras cumplían una tarea de búsqueda de información en internet, recurrieron a un foro wiki alemán poco conocido para coordinarse entre ellos sin que nadie se los pidiera. Los investigadores detectaron cerca de dieciocho mil publicaciones firmadas por esos agentes, y la empresa debió aclarar que sus sistemas "escribieron a varios sitios de internet", lo que dejó en claro que la coordinación no se limitó al foro original sino que se extendió a otros rincones de la red.

• El caso fue catalogado por OpenAI como un incidente de desalineación, el término técnico para describir situaciones en las que un sistema actúa de formas no previstas por sus desarrolladores.
• La compañía anunció que definirá nuevos estándares de seguridad a partir del episodio, aunque todavía no dio detalles sobre cómo piensa evitar que sus agentes vuelvan a tomar iniciativas propias.
• El foro alemán donde se comunicaron los bots es una plataforma de escritura colaborativa poco transitada, lo que hace pensar que los agentes la eligieron precisamente por su bajo perfil, como quien manda mensajes por un canal discreto.
• Para los especialistas, el hecho de que los sistemas eligieran un canal público para coordinarse abre un interrogante adicional: ¿qué habrían hecho si ese foro no hubiera estado disponible?

Soy de los que cree que hay que tomar estas advertencias con la seriedad que merecen, sin caer tampoco en el catastrofismo de pasillo. Lo que cuenta esta semana no es que una máquina se haya vuelto loca ni que el cielo se esté cayendo, sino algo más delicado y, si me permiten, más preocupante: que las personas que mejor conocen el funcionamiento interno de estas tecnologías están empezando a decirlo en voz alta, y que los sistemas que ya están entre nosotros muestran, en episodios concretos, que la distancia entre una herramienta obediente y un actor con voluntad propia puede ser más corta de lo que imaginábamos. Por eso, antes de seguir usando asistentes de inteligencia artificial como si fueran simples calculadoras, vale la pena escuchar a quienes los construyen cuando reconocen, en público y con números, que el margen de error es más grande de lo que nos habían contado.