Anthropic abre las puertas de sus modelos a un grupo externo con llave propia

Seis investigadores de METR, una organización sin fines de lucro dedicada a evaluar sistemas de inteligencia artificial, se instalaron esta semana en las oficinas de Anthropic con un nivel de acceso inédito para auditores externos.

Disponen de computadoras corporativas, espacio físico de trabajo y las mismas herramientas internas que un empleado del área de evaluación de riesgos. Pueden conversar con el personal como un colega más, con tres excepciones: datos de clientes, información bajo secreto profesional abogado-cliente y detalles sobre la arquitectura de los modelos.

Tres niveles de acceso

El esquema distingue tres categorías de evaluadores. En el nivel inicial, organizaciones como SecureBio realizan revisiones acotadas y necesitan autorización de Anthropic antes de publicar. En el nivel intermedio, los auditores reciben más información y pueden difundir sus hallazgos sin pedir permiso. En el nivel superior, donde hoy solo opera METR, se suma el acceso equivalente al de un empleado y la garantía de que la empresa no podrá bloquear la publicación de evaluaciones, reportes de incidentes ni análisis de prácticas internas.

Anthropic conserva la potestad de solicitar que se omita información en categorías estrechas y predefinidas. METR, en cambio, queda habilitado a señalar públicamente si considera que esa solicitud de redacción estuvo o no justificada.

Cuatro condiciones para una auditoría útil

• Experiencia técnica suficiente para detectar cuándo un modelo aparenta estar alineado sin estarlo.
• Independencia económica y operativa respecto de la empresa auditada.
• Acceso que vaya más allá de los modelos e incluya cómo se entrenaron y cómo operan sus mecanismos de seguridad.
• Libertad para publicar sin restricciones previas.

La compañía reconoció que no puede hacer pública toda su información de seguridad: parte podría ser aprovechada por actores maliciosos y otra es sensible desde el punto de vista comercial. Por eso concentró el acceso profundo en un grupo reducido, con acuerdos exigibles, y mantiene al resto del personal de METR aislado de esa tarea.

El equipo de METR ya había revisado varios informes de riesgo durante el año previo a recibir este nivel ampliado. En desarrollo. Ampliaremos.