プロンプトとスコープ
アシスタントは、顧客が提供したコンテンツからアクションの要約、分類、または推奨を行うことができます。ユーザーは、AIがいつ関与しているか、どのようなデータが使用されているか、どのような人間によるレビューが存在するか、そして出力をどのように異議申し立て（チャレンジ）できるかを知る必要があります。エンタープライズ管理者は、設定、エビデンス、およびエクスポート可能な記録を必要とします。開示によって出力が正確または合法になると主張することなく、プロダクトのインターフェースと運用プロセスを設計してください。
これは、変化する要件の下でユーザー価値、リスクコントロール、および測定可能なロールアウトの決定を選択することがコアスキルとなるため、productの質問です。
面接官が評価するポイント
第一に、透明性、説明可能性、解釈可能性を区別できるか。通知は、モデルのすべての計算を明らかにすると見せかけることなく、AIの関与を開示できます。
第二に、対象読者とタイミングを特定できるか。ユーザー通知、管理者コントロール、監査記録、開発者向け統合には、それぞれ異なる役割があります。
第三に、人間によるレビューや外部プロバイダーを含め、データの使用と保持について平易な言葉で説明できるか。
第四に、装飾的なバッジを追加するのではなく、不確実性と来歴を実行可能なものにできるか。
第五に、ダークパターンを回避しながら、理解度、異議申し立て率、有害な結果、および導入率を測定できるか。
最初に明確にすべき質問
- どの機能がコンテンツを生成、変換、ランク付け、または単に取得（retrieve）するのか？
- どのユーザーが影響を受け、エンタープライズ管理者がデフォルトを設定するのか？
- どのような入力、保持期間、復処理者（subprocessor）、および人間によるレビュー経路が存在するのか？
- このリリースではどの管轄区域およびプロダクトのコミットメントが対象となるか？
- 開示後、ユーザーはどのようなアクション（修正、異議申し立て、無効化、レビューのリクエスト）を実行できるか？
- どのメトリクスがローンチをブロックするか、またはロールバックをトリガーするか？
30秒の回答フレームワーク
「各AIユースケースを、対象読者、タイミング、データソース、人間の役割、不確実性、およびユーザーアクションにマッピングします。ユーザーは重大な依存をする前に簡潔でローカライズされた通知を確認し、管理者はポリシーとエビデンスのコントロールを取得し、監査記録はモデルのバージョン、ソースポリシー、およびレビューステータスをキャプチャします。理解度と異議申し立てのフローをテストし、安全性とサポートの準備状況に基づいてローンチのゲートを設定し、法務レビューをプロダクトの主張から切り離します。」
ステップごとの回答
ステップ1：AIの用途とリスク層のインベントリを作成する
機能レジスターを作成します：要約、分類、推奨、または実行。それぞれについて、入力カテゴリ、出力対象、エラーの影響、人間によるレビュー、モデル/プロバイダー、保持期間、およびフォールバックを記録します。重大な影響を及ぼす推奨には、低リスクのドラフト作成よりも強力な開示とレビューが必要です。
ステップ2：ユーザー通知を設計する
ポリシーページだけでなく、AIが体験に影響を与えるポイントに短い通知を配置します。アシスタントが何を行うか、どのソース素材を使用するか、出力が間違っている可能性があること、および次のアクション（ソースの確認、編集、無効化、またはレビューのリクエスト）を明記します。「AIによって検証済み」が事実としての正確性を意味すると主張することは避けてください。
ステップ3：管理者にコントロールとエビデンスを提供する
エンタープライズ管理者は、機能レベルの有効化、データ使用設定、保持期間の選択、プロバイダーの制限、およびポリシーバージョンのエクスポート可能な記録を必要とします。変更はバージョン管理され、プレビュー可能で、監査可能である必要があり、リスクの高い新しい機能には安全なデフォルト設定が必要です。
ステップ4：来歴と不確実性を表示する
可能な場合は、ソースドキュメント、タイムスタンプ、取得スコープ、および人間が結果を承認したかどうかを引用します。キャリブレーションされたラベルと制限事項の説明を使用し、捏造された信頼度パーセンテージを表示しないでください。ユーザーが出力とソース素材を比較できるようにします。
ステップ5：開示を同意とコントロールに関連付ける
通知は自動的に同意になるわけではありません。機能にオプトインが必要な場合は、選択を具体的かつ取り消し可能にしてください。アカウント、ワークスペース、および地域の各設定を尊重し、非表示のデフォルトによって無効化されたユースケースが再有効化されないようにします。
ステップ6：ローカライズとアクセシビリティのサポート
文字列だけでなく意味を翻訳し、読み上げ順序、キーボードアクセス、コントラスト、スクリーンリーダーのラベルを維持します。モデルとデータの概念をユーザーのボキャブラリで説明し、人間のサポートへのアクセス可能なパスを提供します。
ステップ7：ロールアウトの測定とゲーティング
通知の理解度、ソース開封率、修正および異議申し立て率、無効化率、有害な出力の報告数、サポートへの問い合わせ数、レイテンシ、およびタスクの成功率を測定します。最初は限定されたコホートで実行し、毎週インシデントをレビューし、ローンチ前にロールバックのしきい値を定義します。
ステップ8：主張の同期を維持する
プロダクトの文言、ヘルプ記事、管理者設定、モデルカード（model cards）、および契約書をまとめてバージョン管理します。モデル、プロバイダー、目的、または保持期間が変更された場合は、古い開示テキストを残さず、レビューをトリガーして関連するインターフェースを更新します。
模範回答
「AI利用レジスターとリスク層から始めます。影響が発生する瞬間に、ユーザーにはタスク、データソース、制限事項、および確認、修正、無効化、または異議申し立てを行うアクションを説明する簡潔でローカライズされた通知が表示されます。エンタープライズ管理者は、機能コントロール、プロバイダーと保持の設定、ポリシーのバージョン、およびエクスポート可能なエビデンスを受け取ります。来歴はソースドキュメントと人間によるレビューのステータスにリンクし、信頼度を勝手に作り出すことは決してしません。
ロールアウトは限定されたコホートから開始し、理解度、有害な出力、異議申し立て、サポートの準備状況に関する事前に宣言されたゲートを設けます。文言、ヘルプ、設定、およびモデルのメタデータはまとめてバージョン管理されます。法的な適用可能性は個別にレビューされ、プロダクトの表現は正確かつ変更可能な状態に保たれます。」
よくある間違い
- 単一のグローバルAIバッジを使用する → ユーザーがそれに対してアクションを起こせない → 適切なタイミングでタスク、データ、制限事項、および次のアクションを表示する。
- 透明性を説明可能性と同等とみなす → 約束がエビデンスを超える → わかっていることとわかっていないことを明記する。
- キャリブレーションなしで信頼度数値を公開する → 誤った安心感を与える → 代わりに来歴と制限事項を表示する。
- 通知を同意として扱う → 選択が不明確になる → 必要な場合はオプトインを具体的かつ取り消し可能にする。
- 管理者コントロールを提供しない → エンタープライズポリシーを適用できない → 設定とエビデンスをバージョン管理する。
- クリック数のみを測定する → 理解度や危害が見落とされる → 異議申し立て、修正、インシデント、サポートを含める。
- プロバイダー変更後に文言を放置する → 開示が不正確になる → メタデータとコンテンツのレビューをトリガーする。
フォローアップの質問
フォローアップ1：すべてのAI機能にモーダルが必要ですか？
いいえ。通知のタイミングと目立たせ方を、リスクとユーザーの決定に合わせて調整します。持続的だが控えめな開示はドラフト作成に適している場合があります。重大な影響を持つ推奨事項には、より強力なコンテキストとレビューが必要です。
フォローアップ2：モデルカードはユーザー向けですか？
通常、管理者や技術関係者向けの参考資料です。ユーザーには簡潔な説明とアクションパスが必要であり、必要に応じてより詳細なエビデンスへのリンクを提供します。
フォローアップ3：ダークパターンをどのように回避しますか？
選択を具体的かつ取り消し可能にし、同等に見えるようにし、無関係なメリットから独立させます。無効化や異議申し立てのコントロールを隠さないでください。
フォローアップ4：来歴（provenance）とは何ですか？
入力ソース、取得時間やスコープ、モデルとポリシーのバージョン、人間によるレビューステータスに関するエビデンスであり、ユーザーが出力を検証するのに役立ちます。
フォローアップ5：ローンチをブロックするものは何ですか？
不明確なデータ利用、レビューや異議申し立てのパスの欠落、キャリブレーションされていない主張、アクセシブルでない通知、しきい値を超える有害出力率、またはサポートされていない運用は、ロールアウトをブロックまたは縮小すべきです。
フォローアップ6：モデルプロバイダーの変更はどのように処理しますか？
プロバイダーとモデルのメタデータをバージョン管理し、リスクと文言を再評価し、必要に応じて影響を受ける管理者に通知し、以前のバージョンのロールバックとエビデンスを維持します。