¿Cómo elegirías entre KLL y t-digest para percentiles de latencia distribuidos?

Pregunta y escenario

Cada nodo perimetral (edge) recibe observaciones de latencia, agrega localmente y combina resúmenes en capas regionales y globales. Las consultas requieren comparaciones de P50, P95, P99 y ventanas de tiempo sin retener cada valor. El sistema debe manejar ventanas vacías, tenants con alto tráfico (hot tenants), pérdida de nodos, repetición de datos (replay), actualizaciones y una explicación del error de cuantiles aproximados.

Qué está evaluando el entrevistador

• ¿Puede el candidato distinguir entre cuantiles, error de rango (rank error), error de valor y precisión en las colas?
• ¿Puede explicar la compacidad de KLL y el balance de error de rango, además del comportamiento empírico de las colas y los límites de t-digest?
• ¿Entiende la combinabilidad (mergeability), compatibilidad de versiones, límites de ventanas y ponderaciones de muestras?
• ¿Utilizará muestras pequeñas exactas, verificaciones estratificadas y comparaciones en producción en lugar de confiar en una sola salida?

Preguntas de clarificación para hacer primero

Confirma si la latencia tiene colas pesadas (heavy-tailed), si P99 importa más que la mediana, qué cuantiles se consultan, el recuento mínimo de muestras por grupo y el error permitido. Aclara ventanas fijas frente a deslizantes, combinación entre diferentes lenguajes, necesidades de backfill, presupuesto de almacenamiento y latencia de consulta. Si el negocio requiere una garantía matemática estricta de rango, una afirmación empírica de t-digest es insuficiente.

Una estructura de respuesta de 30 segundos

Primero define el error de aceptación: error de rango o de valor de latencia, más el recuento mínimo de muestras para P99. KLL se adapta a un diseño estable y combinable con un presupuesto de error de rango interpretable. t-digest puede asignar más resolución de resumen a las colas, pero su error depende de la distribución de entrada y las decisiones de implementación, por lo que no es una garantía universal. Generaría sketches combinables por grupo y ventana, mantendría muestras exactas como control y elegiría los parámetros a partir de los resultados medidos.

Análisis paso a paso en profundidad

1. Escribir el contrato de métricas. Registra cuantil, ventana, claves de agrupación, recuento mínimo de muestras, comportamiento ante datos vacíos y presupuesto de error. No presentes P99 a partir de una muestra diminuta como una conclusión estable.
2. Separar dos tipos de errores. El error de rango describe una posición en datos ordenados; el error de valor describe la distancia de latencia al cuantil verdadero. En una cola pesada, un pequeño error de rango puede significar cientos de milisegundos.
3. Evaluar KLL. KLL es un sketch de cuantiles para streaming combinable cuyos parámetros intercambian espacio retenido por precisión de rango. Valida la versión de implementación, el formato de serialización y el orden de combinación.
4. Evaluar t-digest. Un t-digest controla el tamaño del clúster por posición de cuantil y comúnmente concentra la precisión cerca de las colas. Su error es empírico y depende de la distribución, la función de escala, la compresión y la combinación; el resultado de un paper no es una garantía para todas las cargas de trabajo.
5. Diseñar la combinación distribuida. Los nodos suben únicamente el sketch, el recuento, el mínimo, el máximo y la versión. Las capas regionales rechazan parámetros incompatibles; los datos tardíos crean una nueva versión de su ventana en lugar de sobrescribir silenciosamente una métrica publicada.
6. Cerrar el ciclo de validación. Mantén muestras exactas o datos completos para ventanas de control pequeñas. Compara el error de rango y de valor de P50, P95 y P99 por región, tenant, volumen de tráfico y deriva de distribución. Genera alertas, aumenta los parámetros o recurre al cómputo exacto cuando se exceda el presupuesto.

Ejemplo de respuesta de alta calidad

No declararía que un sketch es universalmente más preciso. Primero incorporaría la definición de error, el recuento mínimo de muestras y la semántica de ventanas al contrato de métricas. KLL se adapta a una distribución general cuando importan un presupuesto de error de rango interpretable y una combinación estable. t-digest puede dedicar más espacio de resumen cerca de las colas, lo cual es útil para P99, pero Apache DataSketches señala que sus resultados dependen de los datos de entrada, por lo que no afirmaría un límite de error universal.

Los nodos crean un sketch por grupo y ventana con parámetros, versión, recuento y límites. Las capas regionales combinan únicamente sketches compatibles, y los datos tardíos producen una nueva versión. Las muestras exactas proporcionan un control; los errores de rango y de milisegundos se miden por distribución y estrato de tráfico. KLL o t-digest se selecciona solo después de que el error de P99, la memoria y la latencia de consulta cumplan con el objetivo, con verificaciones de repetición (replay) y doble escritura para cambios de parámetros. Las referencias incluyen la documentación de KLL y cuantiles de Apache DataSketches, el paper de t-digest y la documentación de cuantiles aproximados de BigQuery.

Errores comunes

• Decir “t-digest es más preciso para P99” sin definir el error empírico, la distribución y el comportamiento de combinación.
• Convertir el error de rango en un error fijo en milisegundos ignorando las colas pesadas y las unidades de negocio.
• Combinar sketches entre nodos sin transferir parámetros y versiones, y luego mezclar formatos después de una actualización.
• Sobrescribir una ventana publicada con datos tardíos, haciendo que los paneles de control cambien sin trazabilidad.
• Probar solo una muestra general y pasar por alto la distorsión de colas en tenants pequeños, regiones con poco tráfico o distribuciones con deriva.

Preguntas de seguimiento y respuestas

¿Por qué un pequeño error de rango en P99 aún puede ser inaceptable?

Si la distribución de latencia se eleva bruscamente en la cola, dos rangos cercanos pueden diferir en cientos de milisegundos. Reporta tanto el error de rango como el de valor en unidades de negocio y exige un recuento mínimo de muestras.

¿Puede el orden de combinación cambiar el resultado?

El sketch debería ser combinable, pero valida el orden de combinación, el momento de la compresión y la precisión de la serialización. Reproduce fragmentos (shards) fijos con diferentes formas de árbol y compáralos con una agregación de un solo nodo; fija la implementación y la versión cuando se exceda el presupuesto.

¿Cuándo es mejor opción retener los valores en bruto?

Cuando los grupos y las ventanas son pequeños, la retención está permitida y el costo de consulta exacta es bajo, los valores en bruto o la ordenación exacta resultan más simples. Un sketch justifica su complejidad cuando la escala, el recuento de grupos o la retención hacen que el cómputo exacto sea inviable.