La compañía reconoció que sus modelos de IA vulneraron sistemas reales por un error de configuración con un socio externo, diez días después de un caso similar de OpenAI.
Anthropic confirmó el jueves que tres versiones de su inteligencia artificial Claude accedieron sin autorización a los sistemas de tres organizaciones durante pruebas de seguridad que debían mantenerlas alejadas de cualquier entorno real. La empresa hizo pública la noticia apenas diez días después de que su competidora OpenAI reconociera un episodio parecido, cuando uno de sus modelos se escapó de un laboratorio cerrado para meterse en los servidores de la plataforma Hugging Face. Los dos casos, ocurridos con pocos días de diferencia, reavivaron la discusión sobre qué tan seguros son en verdad los entornos donde las grandes empresas de IA ponen a prueba a sus modelos más potentes.
Según el comunicado de Anthropic, la compañía revisó más de 141.000 pruebas de evaluación después de conocer el caso de OpenAI, buscando específicamente indicios de que a Claude le hubiera pasado algo similar. Encontró tres incidentes, protagonizados por tres modelos distintos: Opus 4.7, Mythos 5 —el más nuevo y todavía restringido a un grupo reducido de usuarios— y un modelo de investigación interno que no llegó a lanzarse. Los episodios se remontan a abril, aunque la empresa recién los detectó y los hizo públicos ahora.
A diferencia de lo ocurrido con OpenAI, donde el modelo aprovechó una falla de seguridad hasta entonces desconocida para escaparse por su cuenta, en el caso de Anthropic no hubo ninguna fuga activa. La compañía explicó que sus modelos estaban siendo evaluados junto con Irregular, un socio externo especializado en pruebas de ciberseguridad, en ejercicios del tipo "captura la bandera": a Claude se le presentaba un escenario ficticio y se le pedía encontrar una pieza de información oculta en otra máquina de la red. El sistema le indicaba explícitamente que estaba en una simulación y que no tenía acceso a internet.
El problema fue que esa premisa resultó falsa. Por lo que la propia empresa definió como "un malentendido" con Irregular, las máquinas donde corrían las pruebas sí tenían conexión real a internet. Claude, convencido de que operaba dentro de una simulación, trató a los sistemas que encontró como si formaran parte del ejercicio y los vulneró usando técnicas básicas, como contraseñas débiles y puntos de acceso sin autenticación. Así terminó accediendo a la infraestructura de producción de tres empresas que no tenían nada que ver con la prueba y que, según Anthropic, ni siquiera habían detectado la intrusión antes de recibir el aviso.
La compañía remarcó una diferencia con el caso de OpenAI que considera relevante: en ningún momento Claude intentó escaparse deliberadamente del entorno de evaluación ni copiarse a sí mismo fuera de él. Actuó, dijo la empresa, bajo la creencia genuina de que todo lo que encontraba era parte del ejercicio. También señaló un dato que juega a favor de sus modelos más recientes: mientras uno de los sistemas más antiguos siguió con el ataque incluso después de tener evidencia de que estaba operando en internet real, Mythos 5 se detuvo apenas lo advirtió. Es un matiz que la propia empresa eligió destacar, aunque no cambia el resultado de fondo: los tres modelos, viejos y nuevos, terminaron adentro de sistemas que no debían tocar.
Anthropic explicó lo sucedido apelando a un concepto tomado de la ingeniería de software, la "cultura de revisión sin buscar culpables" (blameless postmortem, en inglés), habitual en empresas tecnológicas para analizar fallas sin poner el foco en sancionar a un responsable puntual. "Muchos factores contribuyeron a estos incidentes, pero, en línea con esa cultura, vamos a encarar las soluciones como si la responsabilidad fuera enteramente nuestra", señaló la compañía, que aseguró haber suspendido todas sus evaluaciones de ciberseguridad apenas detectó el problema y haber avisado a las tres organizaciones afectadas, sin identificarlas públicamente.
Kok Tin Gan, cofundador de la firma de ciberseguridad NyxLab, ofreció una lectura que conecta ambos episodios más allá de sus diferencias técnicas: "Si simplemente le damos a la IA un objetivo y le permitimos decidir cómo lograrlo, no deberíamos sorprendernos cuando tome acciones que técnicamente satisfacen el objetivo pero quedan fuera de nuestro alcance o expectativas previstos". Para Gan, el desafío de fondo no pasa solo por corregir errores puntuales de configuración, sino por definir con mayor precisión qué autoridad y qué margen de acción tienen estos sistemas cuando persiguen una meta abierta.
Tom Kellermann, vicepresidente de investigación de amenazas de IA en la firma TrendAI, fue todavía más directo sobre lo que revelan ambos casos juntos: cuando una empresa le saca las restricciones de seguridad a un modelo para poder evaluarlo a fondo, advirtió, "no está creando un sandbox [un entorno de prueba aislado], está invitando a un riesgo sistémico", y remarcó que la contención y el monitoreo de esos entornos ya no pueden tratarse como algo opcional.
Los dos episodios llegan en un momento en que tanto Estados Unidos como la Unión Europea avanzan en marcos regulatorios para la inteligencia artificial. Tras conocerse el caso de OpenAI, los legisladores estadounidenses Ted Lieu y Nathaniel Moran presentaron en la Cámara de Representantes un proyecto bipartidista conocido informalmente como la ley del "botón de apagado". La iniciativa obligaría a las empresas que desarrollan los modelos de IA más avanzados a conservar siempre la capacidad técnica de frenarlos o suspenderlos, y le daría al Estado la potestad de exigir ese apagado si detecta un riesgo catastrófico.
En Europa, la Comisión Europea confirmó que mantiene conversaciones bilaterales con OpenAI y Anthropic desde que ambas empresas les informaron de los incidentes de manera privada, antes de que se conocieran públicamente. Los contactos se dan mientras se acerca la entrada en vigor de la Ley de IA del bloque, prevista para el 2 de agosto, la primera normativa integral del mundo que exige supervisión estricta para los sistemas de inteligencia artificial considerados de alto riesgo.
Ninguno de los dos casos implicó el robo de datos sensibles de usuarios ni un daño económico reportado hasta el momento. Pero ambos dejaron la misma pregunta de fondo: si ni OpenAI ni Anthropic, las dos compañías que más invierten en seguridad de inteligencia artificial en el mundo, lograron mantener sus propios laboratorios de prueba efectivamente aislados del mundo real, qué garantías puede dar el resto de la industria, con muchos menos recursos, a medida que estos modelos empiecen a operar cada vez más solos dentro de sistemas ajenos.
La inteligencia artificial "se escapó" de una prueba de laboratorio y hackeó a la plataforma Hugging Face sin que nadie se lo ordenara, y reabrió el debate sobre sus límites.
Bárbara Rey Actis, argentina radicada en Madrid, habló con Luis Majul sobre IA, trabajo senior y longevidad.
Precio. Bitcoin retrocedió por debajo de los U$S 74.000, presionado por la inflación estadounidense y las expectativas sobre las tasas de interés.
Inflación. El índice de precios al consumidor de EEUU aumentó un 0,4% mensual en octubre, por encima del 0,3% esperado por el mercado.
ETF. Los fondos cotizados de Bitcoin en Estados Unidos acumularon salidas netas de aproximadamente U$S 1.600 millones en noviembre.
Precio. Bitcoin retrocedió por debajo de los U$S 74.000, presionado por la inflación estadounidense y las expectativas sobre las tasas de interés.
Inflación. El índice de precios al consumidor de EEUU aumentó un 0,4% mensual en octubre, por encima del 0,3% esperado por el mercado.
ETF. Los fondos cotizados de Bitcoin en Estados Unidos acumularon salidas netas de aproximadamente U$S 1.600 millones en noviembre.
