プロンプトとスコープ
あなたはエンタープライズ向けAIアシスタントの責任者です。アシスタントは状況に応じて、回答すべき場合、確認を求めるべき場合、拒否またはエスカレーションすべき場合があります。ルーティングポリシー、ターゲットユーザー、成功指標を定義してください。また、誤回答、過剰拒否、プライバシーリスク、人間の対応キャパシティ、リリース検証にどのように対処するかを説明してください。
近年のCopilot関連PM面接の公開資料では、AIの技術的深度、プロダクトの判断力、評価設計の組み合わせが問われます。また、OpenAI Model Specでも、不確実性の表明を、ユーザーがどのように行動し得るか、誤った場合のコスト、不足している情報と関連付けています。したがって、プロダクトとしての課題は、不確実性をユーザーから見て分かりやすく運用可能な決定ポリシーへと変換することにあります。
面接官が見ているポイント
- モデルについて議論する前に、ユーザータスク、リスク階層、許容可能なエラーを定義しているか。
- 回答、確認、拒否、エスカレーションが、相互に排他的で観測可能な状態になっているか。
- モデルの内部シグナルと、回答の質およびユーザーの安全な行動とを区別できているか。
- 有用性、有害なエラー、過剰拒否、人的コスト、待ち時間を統合的に測定しているか。
- 単一の平均満足度スコアではなく、段階的ロールアウト、オフライン評価、実際のフィードバックによって検証しているか。
最初に確認すべき前提条件
- 主要ユーザーは誰か？組織のナレッジへのアクセス権を持つが、ユーザーに代わって高リスクな意思決定を行う権限は持たない従業員を想定します。
- どのタスクが自動化可能か？低リスクな情報検索やドラフト作成は許可され、高リスクなアクションには確認または人間のレビューが必要であると想定します。
- 有人チームのキャパシティはどの程度か？シフトや応答目標時間が存在し、不確実なリクエストをすべてエスカレーションできるわけではないと想定します。
- どちらの失敗のコストが高いか？指定がない場合は、単一の全体的なエラー率を最適化するのではなく、誤回答と過剰拒否をリスクごとに階層化します。
- 会話データは改善のために保持されるか？測定を行う前に、墨消し（マスキング）、アクセス権限、保持期間、オプトアウトの方針を明確にします。
30秒での回答
タスクのリスクと根拠に基づいてルーティングを行います。十分な根拠がある低リスクなリクエストには回答し、不足しているコンテキストが回答を左右する場合は最小限の確認を行い、高リスク・権限外・検証不可能なリクエストは拒否して安全な次のステップを提示し、専門的な判断や複雑なケースで人間が必要な場合はエスカレーションします。モデルが出力する確率は単なる1つのシグナルであり、真実性の保証ではありません。タスクおよびユーザーセグメントごとに、正解・有用率、重大エラー率、確認後の解決率、過剰拒否率、エスカレーション率、応答時間を測定し、段階的ロールアウトで検証します。
ステップごとの詳細解説
ステップ1：タスクとリスクのマトリクスを構築する
タスクを影響度ごとに分類し、組織の権限、最新の事実、または不可逆的なアクションが必要かどうかを明確にします。低リスクな情報検索であれば軽微な表現の問題は許容されますが、支払い、コンプライアンス、医療、権限変更にはより高い根拠の閾値が必要です。「モデルが高性能であるはずだ」という曖昧な思い込みではなく、このマトリクスによってルーティングを制御します。
ステップ2：4つのアウトカム規約を定義する
answerには、根拠の範囲、最新性、編集可能な結果が含まれます。clarifyでは、回答を変化させ得る質問のみを行います。refuseでは、境界と安全な代替策を提示します。escalateでは、理由を説明し、最小限のコンテキストを引き継ぎ、人間の応答目標時間を提示します。評価と異議申し立てのために、すべてのアウトカムに理由コードを付与します。
ステップ3：根拠と不確実性のシグナルを確立する
根拠は、承認された情報検索、構造化されたビジネス状態、または人間による確認から得られます。モデルの自己評価スコアを「正解率（%）」としてユーザーに開示してはなりません。リスク階層ごとにラベル付けされたデータを用いて、キャリブレーション、カバレッジ、エラーコストを評価します。根拠が不十分な場合、確認やエスカレーションを行うことはプロダクトの仕様通りの振る舞いであり、隠されたモデルの不具合ではありません。
ステップ4：確認（聞き返し）のコストを制御する
各質問は、実質的な不確実性を減らすものでなければなりません。自由記述形式の質問をする前に、対象物、時間範囲、権限範囲について尋ねます。質問の回数制限を設定し、それを超えた場合は選択肢を提示するかエスカレーションします。確認のターン数、確認後の解決率、離脱率を追跡します。
ステップ5：拒否とエスカレーションを設計する
安全性に関わる拒否、権限外の拒否、仕様・要件不足による拒否、サービス障害による拒否では次のステップが異なるため、これらを明確に区別します。エスカレーションでは必要最小限のコンテキストと予想待ち時間を引き継ぎます。キューが満杯の場合は影響度の高いケースを優先し、低リスクなリクエストには編集可能なドラフトやセルフサービスの経路を提供します。
ステップ6：評価データセットと指標ツリーを構築する
通常のリクエスト、曖昧なリクエスト、敵対的なリクエスト、権限境界上のリクエスト、高リスクなロングテールリクエストを含めます。最上位の目標は、許容できない害を及ぼすことなく有用な振る舞いを実現することです。これを、正解・有用率、重大エラー率、過剰拒否率、確認後の解決率、エスカレーション成功率、処理時間、コストに分解します。すべての指標をタスク、ユーザー、言語、権限ごとにスライスして分析します。
ステップ7：ロールアウト、ロールバック、異議申し立てを計画する
低リスクなタスクと社内ユーザーから開始します。重大エラー、過剰拒否、人間のキャパシティに関する閾値をあらかじめ定義しておきます。閾値を超えた場合は展開を停止するか、ポリシーバージョンをロールバックします。ユーザーが回答を誤り、未解決、または不当な拒否としてマークできるようにし、影響度の高いケースをレビューに回して評価セットに追加します。
ステップ8：プライバシーを保護し反復改善する
ポリシーバージョン、理由コード、マスキング済みの必要最小限の根拠のみを保存します。生の会話データへのアクセスを制限します。トレーニングおよび評価用データには、保持、削除、アクセス監査のルールが必要です。単一の局所的な指標によってリグレッション（品質低下）が見逃されないよう、すべてのポリシー変更を有用性、害、拒否、人的コストにわたる固定のリグレッションデータセットで比較します。
高品質な回答サンプル
私はこれをリスク階層別の意思決定プロダクトとして定義します。承認された根拠に基づいて低リスクなタスクに回答し、不足しているコンテキストが回答を左右する場合にのみ最小限の確認を行い、高リスク・権限外・検証不可能なリクエストは安全な次のステップとともに拒否し、専門的な判断や複雑な紛争は必要最小限のコンテキストを添えてエスカレーションします。内部的な確率は単なるシグナルであり、ユーザー向けの精度保証ではありません。通常、曖昧、敵対的、高リスクなケースを網羅する評価セットを構築し、正解・有用率、重大エラー、過剰拒否、確認後の解決率、エスカレーション待ち時間、コストをセグメント化して測定します。アクセスと保持の管理下でポリシーと根拠の記録を保持しつつ、明確な停止閾値、ロールバックバージョン、異議申し立て経路を設けて低リスクなコホートからリリースします。
よくある間違い
- ユーザータスクとエラーコストを定義する前にモデルサイズを比較すること。
- モデルの自己評価スコアを精度の保証として提示すること。
- 際限なく確認の質問を繰り返し、離脱率を高めてしまうこと。
- 人間のキャパシティポリシーを持たずに、不確実なリクエストをすべてエスカレーションすること。
- 重大エラー、過剰拒否、セグメント別データを測定せず、平均満足度のみを測定すること。
- 理由や次のステップを示さずに拒否し、ユーザーがタスクを完了したり異議を申し立てたりできなくすること。
- アクセス制限、マスキング、削除管理を行わずに、トレーニング用の生の会話データを無期限に保持すること。
追加の質問と回答
ビジネス側ができる限りエスカレーション率を下げたいと求めています。どう対応しますか？
目的が「不要なエスカレーションの削減」なのか「あらゆる種類のエスカレーションの削減」なのかを明確にします。高リスクに対する最低基準を維持しながら、十分な根拠がある低リスクタスクの自動化を拡大します。重大エラーと人間による修復コストを提示し、エスカレーション率のみを指標とすることがいかに隠れた損失を生むかを説明します。
ユーザーが「説明は省いて、代わりに実行してほしい」と言った場合、どうしますか？
不可逆的なアクションと編集可能な提案を区別します。低リスクなアクションについては要約と確認を表示し、支払い、権限変更、外部送信などのアクションには明示的な承認と監査可能性を必須とします。ユーザーの好みによって承認や安全性の境界を回避することはできません。
確認の質問に価値があるかどうかをどうやって判断しますか？
オフラインデータを用いて、質問の前後での回答品質と解決率を比較します。情報利得、追加ターン数、離脱率を記録します。ルーティングや回答を変えない質問は削除し、価値が高いものの回答が難しい質問には選択肢を提供します。
モデルのアップグレード後に精度が向上したにもかかわらず、苦情が増加しています。どのように調査しますか？
リスク、ユーザーグループ、言語、権限、ポリシーバージョンごとにスライスし、誤回答、トーンの変化、過剰拒否、エスカレーションの遅延を切り分けます。展開を凍結し、影響度の高いケースを再現・再生し、新旧の評価セットを実際のフィードバックと比較した上で、ロールバック、対象コホートの制限、またはルーティング閾値の調整を行います。