Una startup afirma haber superado un obstáculo que retrasa a los LLMs

Subquadratic rompe barrera con 12 veces más capacidad y 56 veces más velocidad a $8.

La startup de inteligencia artificial Subquadratic ha anunciado que ha resuelto un problema matemático que ha estado frenando a los modelos de lenguaje grande durante casi 9 años, con 10.000 palabras procesadas en 50 millones de multiplicaciones.

Según Technology Review, Subquadratic ha desarrollado un nuevo tipo de modelo de lenguaje grande llamado SubQ, que es más rápido y barato, y utiliza mucha menos energía que cualquier otro modelo en el mercado, con un contexto de hasta 12 millones de tokens.

SubQ procesa 12 veces más texto a la vez con un 98% de precisión.

SubQ ha sido evaluado por la empresa de pruebas Appen, que encontró que el modelo es 56 veces más rápido que los modelos que utilizan FlashAttention, una técnica de atención dispersa anterior, y que SubQ puede procesar texto a un costo de $8, en comparación con los $2600 que cuesta ejecutar el modelo Opus 4.6 de Anthropic.

¿Puede SubQ revolucionar la forma en que se construyen los modelos de lenguaje grande?

La solución de Subquadratic es abandonar la atención densa, la operación central de un transformador, en favor de la atención dispersa, que reduce el número de cálculos necesarios, y que puede ofrecer aumentos significativos en la velocidad a una fracción del costo típico para ciertas tareas, como analizar cientos de documentos o bases de código completas.

Subquadratic afirma que SubQ es el primer modelo de lenguaje grande con atención dispersa que rivaliza con los modelos de atención densa en rendimiento.

SubQ ha sido diseñado para ser más eficiente que los modelos actuales, con un mecanismo que selecciona dinámicamente qué palabras son importantes para el proceso de atención, lo que permite que el modelo procese texto más rápido y a un costo menor, con un contexto de hasta 12 millones de tokens, en comparación con los 1 millón de tokens de los modelos actuales.

¿Cuál es el futuro de los modelos de lenguaje grande con la solución de Subquadratic?

Subquadratic espera que su avance cambie la forma en que se construyen los modelos de lenguaje grande, con un enfoque en la eficiencia y la velocidad, y que SubQ se convierta en un modelo líder en el mercado, con más de 500 clientes empresariales y decenas de miles de usuarios potenciales que han solicitado acceso temprano.

SubQ ha sido evaluado con resultados prometedores, con un 89,7% de precisión en la prueba LiveCodeBench.

La prueba de Appen encontró que SubQ puede manejar conjuntos de datos muy grandes, con un contexto de hasta 12 millones de tokens, y que el modelo puede responder en segundos a tareas que requieren la razón sobre información contenida en 400 documentos, en comparación con otros modelos que no pueden cargar todos los documentos.

¿Qué sigue para Subquadratic y su modelo SubQ?

Subquadratic planea seguir desarrollando y mejorando SubQ, con un enfoque en la eficiencia y la velocidad, y espera que su modelo se convierta en un líder en el mercado, con un costo de $8 por ejecución, en comparación con los $2600 de otros modelos, y con un contexto de hasta 12 millones de tokens, en comparación con los 1 millón de tokens de los modelos actuales.

Crédito: Fuente externa