Guide Labs lanza un LLM interpretable de 8000 millones de parámetros

El lunes, la empresa emergente de IA con sede en San Francisco, Guide Labs, lanzó Steerling-8B, un modelo de lenguaje grande (LLM, por sus siglas en inglés) de 8000 millones de parámetros diseñado para ser interpretable. A diferencia de los modelos tradicionales donde la toma de decisiones es una “caja negra”, cada token producido por Steerling-8B puede rastrearse hasta sus orígenes en los datos de entrenamiento. La empresa, cofundada por el CEO Julius Adebayo y la directora científica Aya Abdelsalam Ismail, busca abordar las dificultades de los modelos existentes como ChatGPT y Grok de xAI.

Para lograr esta trazabilidad, Guide Labs construye sus modelos con una capa de conceptos que clasifica los datos en categorías rastreables. Adebayo, quien fue coautor de un artículo ampliamente citado en 2018 durante su doctorado en el MIT, explicó que este enfoque cambia el paradigma del análisis de modelos. “El tipo de interpretabilidad que la gente hace es… neurociencia en un modelo, y nosotros le damos la vuelta. Lo que hacemos es diseñar el modelo desde cero para que no necesites hacer neurociencia”, dijo Adebayo. Esta arquitectura permite a los desarrolladores identificar codificaciones de datos específicas. Por ejemplo, si existen 1 billón de formas de codificar el género y un modelo lo codifica en 1000 millones de esas formas, los desarrolladores deben encontrar y controlar de manera confiable esas 1000 millones de instancias. A pesar de esta arquitectura, Adebayo afirmó que el modelo conserva comportamientos emergentes. También señaló que el modelo demuestra que el entrenamiento de modelos interpretables ha pasado de ser un desafío científico a un problema de ingeniería.

Según Guide Labs, Steerling-8B puede alcanzar el 90% de la capacidad de los modelos existentes utilizando menos datos de entrenamiento. Adebayo argumenta que esta arquitectura interpretable será necesaria para que los LLM orientados al consumidor bloqueen materiales con derechos de autor o controlen las respuestas sobre violencia o drogas. También tiene potencial para industrias reguladas, donde los modelos deben ser más seguros y controlables. Añadió que democratizar la interpretabilidad inherente será beneficioso para la humanidad a largo plazo, particularmente a medida que los desarrolladores construyan modelos cada vez más inteligentes.

Guide Labs surgió de Y Combinator, una aceleradora de empresas emergentes, y recaudó una ronda semilla de USD 9 millones en noviembre de 2024. La ronda de financiamiento fue liderada por Initialized Capital, una firma de capital de riesgo.

Por qué importa

Steerling-8B de Guide Labs intenta resolver el problema de la “caja negra” en el aprendizaje profundo haciendo que las acciones del modelo sean rastreables, lo que potencialmente permite una IA más segura y controlable para industrias reguladas.