人が関与するAI運用

AIの出力をどこで人が確認するか——承認・例外処理を含む業務設計

AIの利用範囲を決めるときに、すべてを人手確認にする方法と無確認で処理する方法の二択にしないためのガイドです。影響度と不確実性に応じて確認箇所を設計し、責任の所在と例外時の流れを明確にします。

AIの出力を毎回すべて人が読むか、確認せず使うかの二択にする必要はありません。用途と誤りの影響に応じて、確認箇所、承認者、止める条件を組み合わせます。

まず、出力の使われ方と誤りの影響を分ける

AIの文章が自然に読めても、それだけで業務に使えるとは限りません。確認の強さを決める出発点は、出力を何に使うか、誤りがあったとき誰にどんな影響が及ぶかを分けることです。同じ要約でも、担当者が参考にするメモと、顧客に送る正式な案内では必要な確認が違います。

誤りが金銭、権利、安全、個人の扱い、顧客との信頼に関わるほど、確認者の判断と承認を業務手順に明記します。一方、社内のたたき台や検索補助のように、人が元情報と照らしてから使うものは、確認箇所を絞れる場合があります。影響が小さいからといって、出力が確定情報であるかのように扱わないことも大切です。

用途と影響から考える確認方法の例
出力の用途誤りが起きた場合確認の考え方
社内向けの要約・下書き内容の誤解や、後続作業の手戻りが起こる利用者が元情報と照合。外部共有前には必要な箇所を確認する
顧客向けの案内・返信案誤案内による信頼の低下や、対応の行き違いにつながる正式な情報源に照らして確認し、送信前に担当者が確定する
金銭・権利・安全に関わる判断損失や不利益など、影響が大きくなる可能性があるAIの出力だけで確定しない。権限を持つ担当者の確認・承認を設ける

これは設計を考えるための一般例です。実際の確認範囲は、業務の目的、誤りの影響、適用されるルールに応じて判断してください。

段階を分ける

「提案」から「確定」までを見える形に

表示や作業状態を分けると、未確認の出力が確定情報として扱われるのを防ぎやすくなります。段階を進める条件と担当者を、画面や手順の両方で分かるようにします。

  1. 1

    提案

    AIの出力。未確認であることが分かる状態にする。

  2. 2

    確認済み

    担当者が元情報やルールと照合し、必要な修正を行う。

  3. 3

    確定

    業務上の権限を持つ人が、次の処理へ進める。

全件確認・条件付き確認・担当者承認を使い分ける

すべてを同じ手順で確認すると、重要な出力の見落としを防げない一方で、確認作業が現場の負担になりやすくなります。出力の用途とリスクをもとに、どこで人が読むのか、何を照合するのか、誰が確定できるのかを決めます。

全件確認は、顧客への確定案内や重要な判断材料など、誤りをそのまま渡せない用途に向きます。条件付き確認は、定型で影響の小さい処理を通常フローにしつつ、特定の条件に当たったものを人へ回す考え方です。条件の例は、必須項目の欠落、登録情報との不一致、金額や期限の範囲外、認識できない書類形式などです。結果を採用する権限が必要な業務では、確認担当者の承認を確定の条件にします。

AI自身の確信度だけで確認の要否を決めるのは避けます。確信度が表示されない場合もありますし、値の高さだけでは誤りの影響や入力の想定外さを表せないためです。現場が元情報や業務ルールに照らして判定できる条件を定め、必要なら結果を人へ引き継ぐ設計にします。

  • 誰が確認するかだけでなく、照合する元情報と確認項目も手順に書く。
  • 確定案内、承認、判断の権限が必要な処理は、担当者が次の段階へ進める条件を明確にする。
  • 確認を省ける範囲は、誤りの影響と例外時の停止手段を確認したうえで限定する。

例外時の流れ

判断材料が足りないときは、確定せず引き継ぐ

通常の処理に当てはまらないケースを、無理に自動処理へ戻さないことが重要です。入力の不備や矛盾を検知したら保留し、確認できる人につなぎます。

  1. 1情報不足

    気づく条件:必須項目が欠けている、根拠となる情報が見つからない

    対応:不足内容を示し、元資料や依頼者を確認する

  2. 2矛盾

    気づく条件:入力と登録情報が一致しない、複数の資料で内容が異なる

    対応:対象を保留し、どの情報を正式な根拠とするか担当者が判断する

  3. 3対象外

    気づく条件:想定していない形式や、特別な判断を要する内容が含まれる

    対応:処理を止め、業務担当者へ引き継ぐ。必要なら従来手順に戻す

例外では無理に処理を続けず、止めて引き継ぐ

業務に合った確認フローには、通常どおり進む条件だけでなく、判断できないときの行き先があります。情報が足りない、書類同士の記載が矛盾する、対象外の入力が来る、元データを確認できない。こうした場合に、AIの提案を確定扱いにせず、保留・差し戻し・担当者への引き継ぎのどれにするかを決めておきます。

たとえば書類受付なら、必要項目が読み取れないときに空欄を推測で埋めず、受付担当者が原本を確認する状態へ戻します。返信案の作成なら、正式な案内文に根拠が見つからない問い合わせや、予約・緊急性の判断を含む内容は、返信を自動で確定せず担当者へ渡します。これは活用方法の例であり、個別の業務にそのまま当てはまる保証ではありません。

  • 例外条件を、担当者が見分けられる入力や業務上の状態として表す。
  • 処理を止めた後の担当者、対応期限や優先度の決め方、従来手順への戻し方を確認する。
  • 例外を解消して再処理する場合は、どの情報を直したか分かるようにする。

責任と記録を決め、現場負担も一緒に見直す

手順には、提案を作る役割、出力を確認する役割、確定を承認する役割、迷ったときの相談先を区別して書きます。小さなチームでは同じ人が複数の役割を担うこともありますが、誰の判断で業務が先へ進んだかが曖昧にならないようにします。

記録は、後から確認や改善に必要な範囲を考えて設計します。業務によっては、確認者、確認日時、修正した項目、例外の理由を残すと見直しに役立ちます。入力内容や個人情報を必要以上に複製・保管しないよう、目的と閲覧できる人も確認してください。具体的な保存方法は業務や利用するツールの条件に合わせて検討します。

運用開始後は、正答らしさだけでなく、確認にかかった時間、差し戻しや修正の頻度、例外の発生、見逃しの有無も点検します。確認を増やした結果、現場の処理が滞っていないかも見ます。誤りや負担が見つかったら、対象業務を狭める、判定条件を変える、従来手順に戻すなどの対応を検討し、手順を更新します。

確認の設計を進める

運用を決める前に、チームで答えたいこと

  • この出力は誰が、どの業務判断や顧客対応に使うのか。
  • 誤りがあった場合に困る人と影響は何か。元情報と照合できる人はいるか。
  • どの条件で保留し、誰へ引き継ぎ、従来手順へ戻すのか。
  • 確認にかかる時間や修正、見逃しをどう振り返り、誰が手順を更新するのか。

次の一歩

確認の範囲や例外フローを整理したい方へ

対象業務、出力の使い道、気になっている誤りや現場の負担をまとめておくと、相談時に検討したい論点を共有しやすくなります。メールで相談内容をお送りください。

確認ルールについてメールで相談する

メール作成画面が開きます。送信や相談の受付が自動で完了するものではありません。

実務ガイド一覧から、自動化候補の選び方や小規模検証、表計算データ活用など、検討段階に合った記事もご覧いただけます。