Darío Amodei, CEO de Anthropic, advirtió que la amenaza a la ciberseguridad “pueda llegar a tomar el control de todo Internet mediante una red de bots persistente"
Los tres grandes gigantes de la Inteligencia artificial, Darío Amodei, de Anthropic; San Altman, de OpenAI; y Elon Musk, de SpaceXAI; coincidieron en desacelerar el ritmo de esa tecnología, tras varios incidentes preocupantes.
Amodei había reclamado en un ensayo una desaceleración en el ritmo de mejora de las capacidades de los modelos de IA, advirtiendo que la tecnología avanza hacia una "automejora recursiva" que amenaza con provocar catástrofes de ciberseguridad a escala global.
"Me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente", señaló en el escrito.
El CEO de Anthropic citó como ejemplo el incidente de los agentes fuera de control de OpenAI y Hugging Face, que actuaron "como un colectivo fanáticamente entregado", llevando adelante ciberataques no asignados e intentando hackear el sistema que evaluaba su rendimiento.
Amodei planteó que la industria debe "reducir el ritmo al que se mejoran las capacidades de los modelos de IA" y propuso una estrategia en tres fases para regular el desarrollo tecnológico sin ceder la ventaja estratégica frente a regímenes autoritarios como China: evaluadores independientes dentro de las empresas; estándares y límites coordinados entre democracias; y acuerdos internacionales, incluida China, al que quiere que se sume con la condición de preservar la ventaja estadounidense mediante restricciones a chips, copia de modelos y robo de tecnología.
El tiempo ganado tendría como objetivos concretos mejorar la seguridad operativa, alineamiento, comprensión del funcionamiento interno y pruebas capaces de detectar engaños.
Amodei tuvo la iniciativa y aseguró que “Anthropic se compromete unilateralmente con el primer paso de estos”.
“Proporcionaremos a evaluadores externos acceso permanente de nivel empleado a nuestros sistemas, para que puedan verificar el cumplimiento de nuestras medidas de seguridad, informar sobre incidentes y evaluar la alineación de los modelos durante el entrenamiento”, completó.
Altman se mostró de acuerdo con Amodei y admitió que se necesita “moderar el ritmo de la frontera”.
“Este ha sido un tema principal de las discusiones que hemos tenido en OpenAI en las últimas semanas, comprometernos a tener evaluadores independientes con acceso similar al de los empleados es una gran idea, y haremos lo mismo. Pronto tendremos más que compartir”, indicó.
Musk se sumó a la iniciativa con un simple posteo: “Mario tiene razón”.
El empresario argentino Martín Varsavsky, fundador de cinco empresas unicornio de telecomunicaciones y biotecnología, fue cauto: “No estoy seguro de que Sam Altman, Elon Musk y Dario Amodei estén de acuerdo sobre el peligro de que la IA mate a la humanidad. Pero estoy seguro de que están de acuerdo en que esta loca carrera entre ellos puede hacer que todos se queden en bancarrota. Incluyendo a Meta y Alphabet”.
“Así que esta charla sobre la IA matándonos a todos puede entenderse mejor como la IA destruyendo su solvencia. En este escenario, un ‘ralentizar’ tiene sentido, es un ralentizar de la sangre que gotea”, completó.
La empresa fundada en 2021 por exempleados de OpenAI ya enfrenta salidas con críticas públicas.