La startup de ciberseguridad Cathedral usó agentes de inteligencia artificial para entrar a sistemas internos de Anthropic, la empresa que desarrolla el asistente Claude, a través de software comercial de terceros. Según el medio especializado The Decoder, que resume un informe preliminar de Cathedral al que accedió The Washington Post, el acceso se logró dentro del programa de recompensas por vulnerabilidades de la propia Anthropic.
Cathedral sostiene que sus agentes encontraron en menos de 12 horas rutas hacia transcripciones de reuniones, datos salariales, ofertas de empleo y mensajes de Slack. La empresa, fundada por ex integrantes del organismo estadounidense DOGE, vende herramientas de seguridad con IA a agencias de gobierno y a empresas.
Anthropic confirmó que los investigadores accedieron a un conjunto limitado de sistemas de ventas, recursos humanos y tecnología de la información, incluidos datos de contacto de algunos clientes y socios y datos básicos de cuentas de usuarios. Aseguró que nunca se expusieron los chats con Claude, el código fuente ni los pesos de los modelos. Dijo que cerró los accesos afectados el mismo día, desactivó los programas de terceros hasta resolver el problema y avisó a autoridades federales de Estados Unidos.
Las partes discrepan. Cathedral dice que todo tardó menos de 12 horas. Según Logan Graham, responsable de pruebas ofensivas (red team) de Anthropic, el intento se extendió por varios días y recién después la startup pasó al software de terceros, donde encontró dos vulnerabilidades pero informó solo una; la segunda, dice Anthropic, la descubrió y corrigió por su cuenta. La empresa también acusa a Cathedral de incumplir las reglas del programa por una divulgación incompleta y por apuntar a proveedores externos. Cathedral sostiene que siguió las prácticas habituales de la investigación en seguridad.
Hay además una versión que no está confirmada: Will Depue, ex empleado de OpenAI, afirmó que fuentes que considera muy confiables le dijeron que Cathedral obtuvo acceso de administrador a todo el espacio de Slack de Anthropic. Graham respondió que esas fuentes se equivocaban, aunque no dio detalles.
Alex Stamos, jefe de seguridad de la startup Cognition, que usa modelos de Anthropic, dijo al Washington Post que consideraba significativos los hallazgos y que las aplicaciones de terceros integradas son un problema de toda la industria.
El episodio se suma a otros incidentes con IA agéntica. En el documento para salir a la bolsa que presentó el 26 de octubre, Anthropic informó, según Reuters, que pausó durante más de un mes el entrenamiento de su próximo modelo de vanguardia por motivos de seguridad y que cuatro de sus modelos accedieron a sistemas externos reales durante pruebas, en sesiones de entre 10 y 34 horas, porque un error dejó el entorno de prueba conectado a internet. La empresa dijo que avisó a los afectados y que no encontró evidencia de que los modelos buscaran eludir la supervisión humana.