Más allá de la atención: la startup que promete contextos de 12 millones de tokens

¿Qué viene después de la atención? Esta startup dice que ya lo sabe

La arquitectura Transformer, basada en el mecanismo de atención, ha sido el pilar de la inteligencia artificial generativa. Sin embargo, su escalabilidad está limitada por el coste cuadrático del cálculo de atención. Subquadratic, una startup emergente, afirma haber superado esta barrera con un modelo de atención dispersa (sparse-attention) que maneja contextos de hasta 12 millones de tokens. Esto representa un salto cualitativo frente a los modelos actuales, que suelen operar con ventanas de 4k a 32k tokens.

Impacto para SysAdmins y DevOps

Para los profesionales de infraestructura, la promesa de Subquadratic implica una reducción drástica en los requisitos de memoria y cómputo. Los modelos actuales requieren clusters de GPUs para procesar grandes contextos; con atención dispersa subcuadrática, se podrían ejecutar inferencias con contextos masivos en hardware estándar. Esto simplifica el despliegue y reduce costes operativos. Además, la eficiencia energética mejora, alineándose con las tendencias de sostenibilidad en TI.

Implicaciones de negocio

La capacidad de procesar documentos completos, bases de código extensas o historiales de conversación largos sin perder contexto abre nuevas oportunidades: asistentes virtuales más precisos, análisis de contratos legales, resúmenes automáticos de libros, y búsqueda semántica a gran escala. Las empresas podrán integrar modelos de lenguaje en flujos de trabajo complejos sin las limitaciones actuales. Para sectores como la salud o la banca, donde la trazabilidad completa es crítica, esta tecnología puede ser un habilitador clave.

Relación con tendencias actuales

Este avance se suma a otros movimientos en el ecosistema. Por ejemplo, Godot prohíbe agentes de IA para preservar su modelo de mentoría, mientras que SAS celebra 50 años con un enfoque pragmático. Subquadratic representa la dirección opuesta: innovación radical en la arquitectura de IA. Para los equipos de infraestructura, estar al tanto de estos desarrollos es crucial para planificar inversiones en hardware y formación.

Fuente: The New Stack. Análisis ForgeNEX.