プロンプトと適用されるコンテキスト
ドキュメントの検索、モデルの呼び出し、ツールの実行を行うGenAIアプリケーションを担当しているとします。チームは、どのモデルバージョンがTime to First Tokenを増加させたのか、ツールが障害を増やしたのか、コストが一部のテナントに集中しているのか、そしてプロンプト内の個人データを露出させることなく品質リグレッションをリプレイできるのかを知る必要があります。OpenTelemetryのセマンティックコンベンションを使用して、トレース、メトリクス、イベント、およびデータ品質ゲートを設計してください。
これはテレメトリデータのモデリングと検証の課題であり、ベンダー選定の演習ではありません。OpenTelemetryは、コードベース、ライブラリ、プラットフォーム間で共有される属性名と意味としてセマンティックコンベンションを定義しています。GenAIコンベンションはモデル、会話、ツール呼び出し、トークン使用量、評価をカバーしていますが、一部はまだ進化中であるため、すべての属性を安定したコントラクトとして扱うべきではありません。
面接官が評価するポイント
面接官は、モデルパラメータで埋め尽くされたログではなく、ビジネス上の疑問から導き出されたシグナルを求めています。優れた回答は、リグレッションを説明するのに十分なバージョンやテナントのディメンションを保持しながら、1つのユーザーリクエストを検索、モデル、ツール、最終結果の処理と関連付けます。
データの境界を定義する必要があります。プロンプト、レスポンス、ツールの引数、取得したドキュメントには機密データが含まれる可能性があります。高カーディナリティのセッションID、ユーザーID、またはコンテンツ全体を、無制限なメトリクスラベルにすべきではありません。データ収集は、プライバシー、ストレージコスト、サンプリング、保持期間のバランスを取る必要があります。
最後に、品質ゲートを指定します。親スパン、モデルバージョン、終了理由（finish reason）、またはトークン数が不足している場合は、見かけ上正確に見えるダッシュボードを表示するのではなく、そのレコードを不完全としてマークし、監視対象とします。
明確化のための質問
まず、Time to First Token、合計レイテンシ、リクエストごとのコスト、ツールの成功率、検索のリコール、回答品質のいずれが重視される成果かを尋ねます。この選択によって、どのトレース、メトリクス、評価イベントが不可欠かが決まります。
次に、機密性と管轄区域について尋ねます。プロンプトとレスポンスの保存は許可されていますか？リージョンごとの分離やテナントレベルでの削除が必要ですか？未加工のコンテンツが禁止されている場合は、ハッシュ、マスキングされたサマリー、参照ID、安全なオフラインリプレイを使用します。
最後に、ボリュームと保持期間について尋ねます。リクエストレート、モデル呼び出し回数、ツールの深度、サンプリングレート、保持期間によって、コレクター、キュー、ストレージのパーティショニング、およびコスト枠が決まります。
30秒の回答フレームワーク
次のように答えることができます。
「各ユーザーリクエストを1つのトレースとしてモデル化し、検索、生成、ツール呼び出し、評価をバージョニングされた子スパンまたはイベントとして扱います。メトリクスには、モデル、プロバイダー、ワークフロー、結果の状態などの低カーディナリティなディメンションを使用します。プロンプト、レスポンス、ツールの引数は、マスキング、サンプリング、監査されたアクセス制御を備えた管理されたイベントストリームに送ります。すべてのレコードは、トレースの相関、順序、モデルバージョン、トークン数についてチェックされ、欠落したフィールドはデータ品質の障害として扱われます。ダッシュボードはレイテンシ、コスト、エラー、品質スコアを結びつけ、固定サンプルのリクエストは安全なリプレイのために利用可能な状態を維持します。」
ステップバイステップの詳細な回答
エンドツーエンドのシグナルグラフを描く
エントリスパンは、リクエストID、テナントサマリー、ワークフローバージョンを記録します。検索スパンは、ソースID、クエリサマリー、結果件数を記録します。モデルスパンは、プロバイダー、リクエストモデル、レスポンスモデル、ストリーミングフラグ、Time to First Token、トークン使用量を記録します。ツールスパンは、ツールタイプ、呼び出しID、結果状態を記録します。評価イベントは、評価者名、スコア、説明への参照を記録します。
低カーディナリティのメトリクスディメンションを使用する
レイテンシ、トークン、コスト、成功率を、モデル、プロバイダー、ワークフロー、リージョン、結果状態、エラークラスごとに集計します。時系列の爆発を防ぐため、セッションID、ユーザーID、ドキュメントID、完全なエラーテキストは、メトリクスラベルではなくトレースまたはイベント内に保持します。
コンテンツイベントを実行時メトリクスから分離する
OpenTelemetryのGenAIガイダンスでは、トレース、メトリクス、イベントを3つのシグナルとして説明しています。プロンプトとレスポンスはサイズが大きく、機密性が高く、異なる保持期間が適用されるため、イベントストリームに適しています。実行時メトリクスはカウント、レイテンシ、コストを保持し、コンテンツイベントは管理されたストレージ、暗号化、より短い保持期間を使用します。
バージョンと因果関係を記録する
各スパンは、モデル、プロンプトテンプレート、リトリーバー、ツール定義、評価者のバージョンを記録します。リグレッション調査では、スコアを正確なモデルリクエストおよび入力データのバージョンと結びつける必要があります。モデル名だけでは、エイリアスのドリフト、ルーティングの変更、プロンプトの変更を区別できません。
サンプリングとコストを制御する
完全なトレースは固定レートで保持し、エラー、極端なレイテンシ、低スコア、新しいバージョンに対してサンプリングを増やします。トークンとツール呼び出しのカウントをリアルタイムで集計し、スロットリングまたはデグラデーション（機能制限）によってテナント予算を強制します。バージョン間の比較が有効であり続けるよう、サンプリングルールは品質メタデータに含めます。
プライバシーとアクセス制御を適用する
パスワード、個人データ、キーが属性に入らないよう、SDKまたはコレクターでフィールドをマスキングします。テナントスコープ、暗号化された参照、削除用インデックスを使用して、コンテンツイベントを実行時メトリクスとは別に認可します。「内部利用のみ」は、機密コンテンツを保持する正当な理由にはなりません。
完全性と順序を検証する
すべてのトレースについて、親子関係、単調増加するタイムスタンプ、終了状態、モデルバージョン、ツール呼び出しIDをチェックします。メトリクスについては、単位、バケット境界、単調増加カウンター、重複レポートをチェックします。イベントについては、スキーマバージョン、マスキング状態、サイズ制限をチェックします。障害は理由コードとともに不良データキューに送信します。
評価イベントを通じて品質を結びつける
評価イベントには、評価者名、スコア、ラベル、説明への参照が含まれます。自動化されたスコアを絶対的な真実として扱わないでください。評価者とデータセットのバージョン、および人間によるサンプルを記録します。品質リグレッションは、単一のシグナルのみを最適化するのではなく、レイテンシ、コスト、エラーと併せてレビューする必要があります。
質の高い回答例
「各リクエストを相関関係のあるトレースとして表現します。エントリ、検索、モデル、ツール、評価はバージョニングされたスパンまたはイベントです。メトリクスは低カーディナリティのモデル、プロバイダー、ワークフロー、結果のディメンションを使用して、Time to First Token、合計レイテンシ、トークン、コスト、エラーを集計します。プロンプト、レスポンス、ツールの引数は、メトリクスラベルではなく、マスキングされアクセス監査されたコンテンツストリームに送られます。収集レイヤーは、親子リンク、順序、スキーマ、モデルバージョン、トークン数をチェックし、無効なレコードは不良データキューに入ります。完全なトレースは固定レートでサンプリングされ、エラー、低速リクエスト、品質リグレッションはより多くのサンプリングを受けます。ダッシュボードは、データセットと評価者のバージョンを使用して、実行時メトリクスを評価スコアおよびリプレイデータと結合します。」
よくある間違い
すべてのコンテンツをメトリクスラベルに入れる
失敗パターン：ユーザーID、セッションID、または完全なプロンプトをラベルとして使用する。失敗する理由：高カーディナリティによりストレージとクエリに過大な負荷がかかり、プライバシーの露出リスクも高まります。修正方法：メトリクスは低カーディナリティに保ち、コンテンツは管理されたイベントに配置します。
モデル名のみを記録する
失敗パターン：1つのモデル名フィールドですべての結果を比較する。失敗する理由：エイリアスルーティング、プロンプトテンプレート、リトリーバー、ツールのバージョンが区別できなくなります。修正方法：リクエストモデル、レスポンスモデル、ワークフロー、依存関係のバージョンを記録します。
トークンコストのみを最適化する
失敗パターン：コストが下がったときに成功と判断する。失敗する理由：Time to First Token、ツールの成功率、または回答品質が低下している可能性があります。修正方法：コスト、レイテンシ、エラー、検索、評価をまとめて監視します。
未加工のプロンプトとレスポンスを保存する
失敗パターン：リプレイのために未加工のテキストを無期限に保持する。失敗する理由：コンテンツに個人データ、キー、またはテナントをまたぐ情報が含まれる可能性があります。修正方法：フィールドのマスキング、短い保持期間、暗号化された参照、テナント単位のアクセス、削除用インデックスを使用します。
不良データを無視する
失敗パターン：親が欠落しているレコードやトークン数が不足しているレコードを分母に含める。失敗する理由：ダッシュボードは完全に見えますが、その数値を説明できなくなります。修正方法：完全性ゲート、不良データキュー、および欠落と真のゼロを区別する品質ダッシュボードを定義します。
フォローアップの質問と回答
チームが完全な推論プロセス（reasoning process）の記録を求めた場合はどうしますか？
ビジネスが必要としているのが監査可能な証拠なのか、ツールのトレースなのか、モデル内部の推論なのかを明確にします。入力参照、ツール呼び出し、バージョン、評価の証拠、結果のサマリーを優先し、不要な機密コンテンツや内部推論テキストは保持しません。
GenAIコンベンションが移行（仕様変更）した場合はどうしますか？
コレクターとデータウェアハウスにスキーマバージョンを保存し、古いフィールドを新しいフィールドにマッピングし、移行中はデュアルライト（二重書き込み）または互換性ビューを使用します。意味を混同させず、コンベンションのバージョンごとにダッシュボードをグループ化します。
ピーク時のトラフィックにより完全なトレースのコストが高すぎる場合はどうしますか？
エラーと極端なレイテンシについては完全なトレースを保持し、通常のトラフィックは固定レートでサンプリングし、集計メトリクスとイベントサマリーを保持します。サンプリングレート、トリガールール、ドロップ理由を品質メタデータとして記録します。
レイテンシが改善する一方で評価スコアが低下した場合はどうしますか？
モデル、プロンプトテンプレート、検索データセット、ツールバージョン、テナントごとにスライスし、データセットと評価者が変更されていないことを確認します。単一のメトリクスを受け入れるのではなく、リリースゲートでパフォーマンスの向上と品質リグレッションを天秤にかけて判断します。
トレースがテナントの境界を越えていないことをどのように証明しますか？
収集、転送、ストレージ、クエリの各レイヤーでテナント境界テストを実行します。合成データを使用して、属性、イベント、参照におけるテナントスコープを検証し、異常なクエリには監査アラートを発行します。削除リクエストでは、インデックスを介してすべての派生イベントを特定できるようにする必要があります。