付録 J AI設計レビュー・本番判定チェックリスト

このチェックリストは、画面の出来だけで設計レビューを終えないために使います。「はい」でない項目は、未完了、対象外、例外承認のどれかを記録します。

目的と責任

• 対象利用者、業務、期待する変化を説明できる
• AI を使わない方法と比較した
• AI がしてよいこと、してはいけないことがある
• 事業、プロダクト、技術、運用、情報管理の責任者がいる
• 人が確認する箇所と、人へ戻す条件が具体的である

データと権限

• 入力データの利用目的、同意、契約、保存期間を確認した
• 個人情報・機密情報を必要最小限にした
• 顧客や組織ごとの権限が検索と出力にも適用される
• 削除・訂正が索引、ログ、評価データにも反映される
• 開発・検証・本番データを分離した
• 外部サービス、保存場所、再委託先を確認した

品質と安全

• 代表、境界、例外、安全上重要な評価データがある
• 調整用と最終確認用の評価データを分けた
• 品質、費用、速度、安全性の公開基準がある
• 重大な失敗を平均値と別に判定する
• 根拠がないときに答えない、または人へ戻せる
• 攻撃的な入力、権限外要求、禁止出力を試した
• モデル、プロンプト、検索、コード変更時に再評価できる

エージェントと外部操作

• 読取り、下書き、実行の権限を分けた
• 削除・送信・購入・公開の前に人が確認する
• 重複実行を防ぎ、途中失敗から回復できる
• 操作対象、引数、実行者、結果を監査できる
• 回数、金額、対象、時間の上限がある
• 外部文書内の命令を正規の指示として扱わない

既存プロダクトへの追加

• 変更前の品質、利用、費用、問い合わせの基準値がある
• API、データ、権限、料金、契約、サポートへの影響を確認した
• 新旧の互換性とデータ移行を確認した
• 機能フラグなどで対象を限定できる
• 段階ごとの成功基準、停止条件、判断者がいる
• 旧機能または手作業へ戻す手順を試した

本番運用

• 品質低下、費用超過、遅延、障害を検知できる
• 必要なログが残り、不要な機密情報は残らない
• 問い合わせ、事故連絡、停止、復旧の手順がある
• 外部 AI サービス停止時の代替がある
• 既知の限界を営業、サポート、利用者へ説明した
• 公開後の再評価日と社内所有者がいる

判定記録

対象機能・版:
判定: 公開・限定公開・保留・中止
未完了項目:
対象外とした項目・理由:
例外承認・承認者:
提供範囲:
停止条件:
次回確認日:
参加者・日付: