プロンプトとコンテキスト
このデータエンジニアリングの質問では、ストリーミング可観測性のシナリオを使用します。イベントは継続的に到着し、ノードのメモリには上限があり、結果はウィンドウごとに出力され、ノード間でマージされる必要があります。目的は、ライブラリ API を暗記することではなく、近似分位数の要件、誤差バジェット、および検証について説明することです。
面接官が評価するポイント
- 厳密な分位数、固定バケットヒストグラム、マージ可能なスケッチの違いを区別できているか。
- なぜ t-digest が分布のテール付近により多くのサマリー解像度を割り当てるのかを説明できるか。
- 重複、外れ値、ウィンドウ境界、マージ順序、および空の入力を処理できるか。
- 根拠のない正確に見える数値を提示するのではなく、オフラインの正解データ（truth）に対して近似を検証できるか。
確認すべき明確化のための質問
クエリされる分位数がテールに焦点を当てているか、値に重みがあるか、ウィンドウがローリング（回転）するか、サマリーがマシン間をまたぐか、どの程度の絶対誤差または相対誤差が許容されるか、結果がアラート、請求、またはコンプライアンスのトリガーとなるかを確認します。監査レベルの厳密性が必要な場合、近似スケッチは生のソートや厳密なデータ構造の代わりにはなりません。
30秒の回答フレームワーク
すべてのサンプルを保持する代わりに、マージ可能な t-digest を使用します。ソートされた値を重み付きクラスタに圧縮し、テールクラスタを小さく保つことで、中央部よりも P95 や P99 に対して高い解像度を提供します。各ノードが独自のダイジェストを更新し、クローズされたウィンドウがクエリ前にダイジェストをマージします。圧縮によってサイズと誤差を制御します。サンプリングされた正解セットを保持し、オフラインで厳密な分位数を計算し、分布、外れ値、重複、マージ順序全体で誤差をテストします。
ステップバイステップの詳細な回答
1. 厳密なターゲットと代替手段の定義
厳密な分位数はすべてのサンプルを保持してソートするため、イベント数に応じてメモリが増加します。固定バケットヒストグラムは集約が容易ですが、バケット境界がその誤差を決定し、テールが粗くなる可能性があります。t-digest は、ストリーミング更新とマージのために順序付けられた重み付きクラスタを格納します。これはあくまで近似であり、厳密なパーセンタイルとしてフォーマットしてはなりません。
2. クラスタとスケール関数の理解
クラスタには中心と、カバーされるサンプルを表す重みがあります。圧縮中、許可されるクラスタの重みは分位数の位置によって変化します。0 と 1 に近いクラスタは小さく、中央のクラスタは大きくなることがあります。スケール関数と圧縮パラメータがダイジェストサイズとテール精度を共同で決定します。「圧縮率を高めれば精度が上がる」という説明は、メモリとのトレードオフに触れていなければ不完全です。
3. 分散マージパスの設計
各シャードは時間ウィンドウのダイジェストを維持し、クローズ時またはサイズしきい値でこれを出力します。クラスタ中心を順序付けして再度圧縮することでマージします。分位数は線形に平均化できないため、シャードの P99 値を決して平均してはなりません。ウィンドウをまたぐ混入や重複消費を防ぐために、ウィンドウ ID、サンプル重み、およびダイジェストバージョンを保持します。
4. 境界と数値データの処理
空のウィンドウに対しては明示的な欠損状態を返します。値が同一または高度に重複している場合、重みは少数のクラスタに集中します。テストによってクエリが安定していることを確認する必要があります。挿入前に NaN、負のレイテンシ、極端な値、および混在した単位を拒否または正規化します。ローリングウィンドウの場合、遅延イベントがどこに到達し、期限切れのダイジェストがどのように解放されるかを定義します。
5. 誤差検証とアラートルールの構築
本番値の制御されたサンプルを正解セットとして保持し、オフラインでソートして、絶対誤差、相対誤差、および違反率を使用して P50、P95、P99 を比較します。分布、サンプル数、シャード数、マージツリー、およびマージ順序をテストします。サイズまたは誤差がバジェットを超える場合は、ウィンドウの粒度、圧縮、またはスケッチを変更します。アラートにはサンプル数と誤差のコンテキストを含め、極小サンプルがテールの誤検知を生成しないようにする必要があります。
6. t-digest を使用すべきでないケースの把握
厳密な監査要件、小規模なサンプル、または安定したバケット境界がある場合、ソートやヒストグラムの方が単純な場合があります。ランク誤差の保証が重要であり、分位数が特にテールに特化していない場合は、KLL などのスケッチを評価する価値があります。長いリプレイウィンドウの場合は、再構築可能な生サンプルまたは層化サンプルを保持します。圧縮されたダイジェストは恒久的な信頼できる唯一の情報源（truth）ではありません。
模範的な質の高い回答
まず、P95/P99 の誤差バジェット、ウィンドウ、およびノード間マージの要件を設定します。t-digest は、順序付けられた重み付きクラスタで分布を表現し、両方のテールでより小さなクラスタを使用するため、レイテンシメトリクスに適しています。シャードは独立して更新されます。クローズされたウィンドウはクラスタをマージして再圧縮し、シャードの P99 値を決して平均しません。単位を正規化し、NaN や無効なレイテンシを拒否して、ウィンドウと重みのメタデータを保持します。検証では、サンプリングされた生値を保持し、厳密な分位数を計算し、分布、シャード数、マージ順序全体で誤差を比較します。バジェットを超過した場合は、圧縮またはウィンドウを調整するか、ヒストグラム、KLL、または厳密なソートを選択します。
よくある間違い
- 各マシンの P99 を平均する → 分位数は線形に平均化できません → 最初にスケッチまたは生サンプルをマージします。
- t-digest の出力を厳密なものとして扱う → 圧縮によって順序の詳細が失われます → 誤差バジェットとサンプル数を明記します。
- 盲目的に圧縮率を上げる → ダイジェストが増大し、テールの向上が線形でない場合があります → 正解データに対してサイズと誤差を測定します。
- 遅延イベントを無視する → ウィンドウメトリクスを再現できなくなります → ウォーターマーク、遅延許容範囲、およびダイジェストバージョンを定義します。
- 極小サンプルの P99 でアラートを出す → テールの分散が高くなります → 最小サンプル数と誤差のガードレールを要求します。
フォローアップの質問と回答
なぜシャードの P99 値を直接マージしてはいけないのですか？
P99 は非線形であり、シャードのサイズや分布が異なるためです。P99 のみをマージすると、シャード間の順序情報が失われます。代わりに重み付きサマリーまたは生サンプルをマージしてください。
マージ順序は結果に影響しますか？
近似圧縮により、わずかな差異が生じる可能性があります。最終圧縮の前に中心をソートし、実装とパラメータを固定し、複数のマージツリーと順序で回帰テストを実施します。
P99 の誤差が突然上昇した場合、最初にどのパラメータを変更しますか？
パラメータを変更する前に、サンプル数、無効な値、遅延イベント、および重複マージを確認します。表現能力が不十分であることが確認された場合にのみ、テール解像度を上げるかウィンドウサイズを縮小し、正解データに対して検証します。
KLL がより適しているのはどのような場合ですか？
明示的なランク誤差保証が重要であり、クエリされる分位数が広範囲に分布し、ワークロードがテールに特化していない場合に KLL を評価します。単一のベンチマークではなく、誤差の定義、マージ動作、メモリバジェット、および実装の成熟度に基づいて選択します。