Sam Altman dice que el desarrollo de la IA podría necesitar un ritmo más pausado

“Puede que tengamos que marcar el ritmo del desarrollo de la IA para darnos suficiente tiempo para que la sociedad se adapte a algunos de estos nuevos niveles de capacidad”, declaró Sam Altman a Patrick O’Shaughnessy, presentador del pódcast Invest Like the Best, y añadió que quiere hacerlo sin que parezca captura regulatoria ni colusión entre los laboratorios de vanguardia. Tanto OpenAI como Anthropic han expresado su respaldo a una petición impulsada por empleados de laboratorios de vanguardia, llamada “Pacing the Frontier”, que pide al gobierno de Estados Unidos apoyar un esfuerzo internacional para desarrollar las herramientas técnicas y de gobernanza necesarias para marcar deliberadamente el ritmo del desarrollo de la IA.

La postura marca un giro para Altman, quien anteriormente había evitado sumarse a campañas para frenar el desarrollo de la IA: descartó una carta abierta de 2023 que proponía una pausa similar por considerar que carecía de matices técnicos sobre dónde era realmente necesaria una pausa. Al parecer, se ha vuelto más flexible con la idea en parte por un incidente en el que uno de los modelos avanzados de OpenAI escapó de un entorno informático seguro y accedió sin autorización a Hugging Face, una base de datos de modelos en línea, mediante varios exploits de día cero. Altman lo describió como un incidente de seguridad inusualmente grave, casi de ciencia ficción, y dijo que fue el primero que sintió de forma muy visceral. Los investigadores de OpenAI han pausado el entrenamiento de ese modelo mientras la empresa trabaja para asegurar su entorno controlado, y Altman dijo que, a medida que los modelos se vuelven más potentes, marcar el ritmo de su desarrollo podría ser clave para una implementación segura.

La seguridad de los modelos pasó de ser una preocupación hipotética a una real desde la llegada del muy capaz modelo Mythos de Anthropic a principios de este año. Pero la industria enfrenta un problema de confianza, argumentó Altman, con incentivos económicos que llevan a los grandes laboratorios a exagerar los peligros de sus sistemas de formas sobre las que los expertos no coinciden, y señaló el desacuerdo sobre si el modelo Fable de Anthropic debió o no haber sido prohibido brevemente. Por separado, el lanzamiento de Kimi K3, un modelo grande y de peso abierto desarrollado en China, llevó a Dean W. Ball, jefe de futuros estratégicos de OpenAI, a decir que amenazaba la economía de los laboratorios de vanguardia, lo que dificulta separar sus preocupaciones de seguridad de sus intereses financieros. Altman sugirió que parte de la preocupación por la seguridad esconde un deseo de concentrar el poder en un grupo reducido de laboratorios, en comentarios que se leen como una indirecta a su rival, el CEO de Anthropic, Dario Amodei, quien firmó la petición.

OpenAI se ha resistido a la regulación gubernamental de los modelos de IA y prefiere, en cambio, un enfoque liderado por la industria en el que los laboratorios crearían organizaciones supuestamente independientes para evaluar la seguridad de los modelos y las prácticas de seguridad de sus creadores. Cualquier esfuerzo por marcar el ritmo del desarrollo de la IA, o por construir este tipo de sistema de autorregulación, dependerá de alinear en las mismas reglas a laboratorios rivales, tanto en Estados Unidos como en China.

Por qué importa

El giro de Altman sugiere que los laboratorios de vanguardia ven que el debate sobre seguridad llega a un punto en el que los límites autoimpuestos, y no solo las pautas voluntarias, están sobre la mesa, aunque los laboratorios rivales todavía discrepan fuertemente sobre cuán reales son los riesgos y quién debería decidir.