El problema del almacenamiento en Jaeger

Jaeger, el popular sistema de tracing distribuido, ha enfrentado durante años la demanda de los usuarios de soporte para ClickHouse como backend de almacenamiento. La razón principal: el volumen de datos de tracing puede crecer exponencialmente, y las soluciones tradicionales como Elasticsearch o Cassandra a menudo resultan costosas o difíciles de escalar. Con 10 millones de spans, la compresión y eficiencia se vuelven críticas.

Cómo ClickHouse logra una compresión 8.6×

ClickHouse, un motor de columnas optimizado para análisis, ofrece compresión nativa y esquemas eficientes. En las pruebas, Jaeger con ClickHouse alcanzó una tasa de compresión de 8.6×, reduciendo drásticamente el almacenamiento necesario. Esto se logra mediante la codificación por columnas, la compresión LZ4 y la capacidad de almacenar datos en orden de tiempo, lo que mejora la compresión y las consultas.

Impacto para SysAdmins y DevOps

Para los equipos de operaciones, esto significa menores costos de almacenamiento y consultas más rápidas. La integración con ClickHouse permite retener más datos históricos sin explosión de costos, facilitando el análisis de tendencias y la resolución de problemas. Además, ClickHouse se integra bien con herramientas de observabilidad existentes.

Relacionado: Lecciones de ClickHouse: un año programando con agentes de IA.

Implicaciones para el negocio

Desde una perspectiva empresarial, la reducción de costos de infraestructura y la mejora en la capacidad de diagnóstico impactan directamente en el tiempo de resolución de incidentes (MTTR) y en la experiencia del cliente. Además, la capacidad de escalar tracing a millones de spans sin preocupaciones de presupuesto permite a las organizaciones adoptar arquitecturas de microservicios con mayor confianza.

Para profundizar en cómo la observabilidad impacta en las interrupciones, lee: Por qué las interrupciones empresariales casi nunca comienzan donde los equipos de operaciones creen.

Fuente: The New Stack. Análisis ForgeNEX.