AIのハルシネーション対策｜人が確認する工程と任せてよい業務の条件

結論——ハルシネーションは確認工程を決めれば業務で使える

AIの間違い（ハルシネーション）は、人が確認する工程を1つ決めれば業務に使えます。ゼロにはできないので、消そうとせず「間違っても止められる使い方」に設計する前提で考えます。鍵は、任せてよい業務と人が最終確認する業務を最初に分けることです。

ハルシネーションとは何か

ハルシネーションとは、AIが事実でない内容を事実のように書く現象です。日本語では「もっともらしい嘘」と訳されます。存在しない規格番号や、実在しない部品名を自信ありげに出すのが典型です。用語の詳しい説明はAI・DXの用語集にまとめています。

消すのではなく「止める」設計にする

現時点のAIで、ハルシネーションを完全になくす方法はありません。だからこそ、間違いが混ざる前提で工程を組むのが現実的です。人が見るべき一点を決めておけば、間違いが現場に流れる前に止まります。

ハルシネーションとは？AIが嘘をつく仕組み

AIが嘘をつくのは、意味を理解して答えているのではなく、次に来そうな言葉を確率で並べているからです。知らないことでも、それらしい形で埋めてしまいます。

なぜ起きるのか

生成AIは、学習した大量の文章から「ありそうな続き」を作ります。手元に正解がなくても、文章としては自然につながります。結果として、事実と嘘が同じ口調で混ざるのが起きる仕組みです。

どんな入力で起きやすいか

次の条件がそろうと、間違いが増えます。

• 社内にしかない情報を聞いたとき
• 具体的な数値や型番を求めたとき
• 最新の制度や価格を聞いたとき
• あいまいな質問で前提が足りないとき

社外に公開されていない情報ほど、AIは埋め合わせで嘘を作ります。

製造現場で起きると困る例

検査基準の数値、公差、材質の呼称などで間違いが出ると、被害が直接現場に及びます。数値と固有名詞は、ハルシネーションが最も混ざりやすい箇所です。手順書や図面の記載をAIに丸投げすると、実在しない規格が紛れる恐れがあります。

任せてよい業務の3つの条件

任せてよい業務は、検証できる・被害が小さい・下書きであるの3条件を満たすものです。1つでも欠けたら、人の確認工程を厚くします。

条件①人がすぐ検証できる

AIの答えが正しいか、人がその場で確かめられる業務は任せやすいです。たとえば議事録の要約は、元の録音や発言と照らせば検証できます。検証の手段がない業務は、任せる前に根拠の出し方を決めます。

条件②間違っても被害が小さい

間違いが出ても、やり直しが効く業務は向いています。社内向けのメモ、下書き、アイデア出しが該当します。逆に、顧客への提出物や検査の合否判定は被害が大きく、人の確認が必須です。

条件③最終判断を人が持つ下書き

AIに全部を決めさせず、完成の一歩手前までをAI、最後の判断を人に分けます。見積の下書き、メール文案、文章の整形が向いています。線引きの具体例は製造業でChatGPTを業務に使う｜見積下書きと入力の線引きにまとめています。

人が確認すべき工程の決め方

確認工程は、業務のリスクに応じて確認の深さを3段階で決めます。全部を同じ重さで見直すと、現場が回らなくなります。

リスクで3つに分ける

業務を「間違いが外に出るか」「やり直せるか」で分類します。外に出て、やり直しが効かないものほどリスクが高いです。

確認の深さを3段階にする

数値と固有名詞だけは、どのレベルでも必ず原本と照らします。ここが最も間違いやすい箇所だからです。

誰がいつ確認するかを決める

確認する人と、確認する時点を業務ごとに1つ決めます。**「出力したらAさんが数値だけ照合する」**のように、工程として固定します。担当があいまいだと、確認が抜けます。

製造業の業務別｜任せてよいか確認必須か

製造業の業務は、数値を扱うものほど確認を厚くします。工程ごとの線引きを表にしました。

設計・手順書

手順書の文章整形や、議事録からの手順起こしは下書きとして使えます。ただし公差・材質・規格番号は必ず原本照合します。AIが実在しない規格を書く恐れがあるためです。

日報・議事録

日報の要約や議事録の作成は向いています。元の録音や記入内容と照らせば検証できるからです。詳しい作り方は製造業の日報電子化｜スマホ入力と自動集計で負担を減らす手順を参照してください。

検査記録・数値

検査の合否や測定値の判定は、AIに任せず人が判断します。間違いが製品に直結し、やり直しも効かないためです。

任せてはいけない業務の考え方は製造業でAIエージェントに任せられる業務と任せてはいけない業務にまとめています。

ハルシネーションを減らす5つの備え

間違いを減らす備えは、出典を出させる・社内文書に基づかせる・数値を照合するの3方向です。順に積み上げます。

①根拠と出典を出させる

答えだけでなく、「どの資料に基づくか」をAIに書かせます。出典が空欄なら、その答えは疑ってかかります。根拠のない回答を鵜呑みにしないための基本です。

②RAGで社内文書に基づかせる

RAGとは、AIに社内の資料を検索させてから答えさせる仕組みです。学習知識の埋め合わせでなく、手元の文書を根拠にできます。構成は製造業のRAG活用｜図面・手順書・トラブル記録をAIに検索させる手順にまとめています。

③数値と固有名詞は原本照合

AIが出した数値は、必ず原本と照らします。型番、公差、金額、日付が対象です。この一手間だけで、重い間違いの大半は止まります。

④ダブルチェックの工程を固定する

確認を「気づいた人がやる」にせず、工程として1つ埋め込みます。出力の直後に照合する担当を決めておきます。

⑤やり取りの記録を残す

入力と出力を残しておけば、間違いが出たとき原因を追えます。社内ルールと記録はセットで考えます。ルールの作り方は生成AIの社内ルールの作り方｜禁止事項・承認・1枚化の手順を参照してください。

やっても意味が薄い確認・危ない使い方

確認のやり方を間違えると、手間だけ増えて間違いは止まりません。避けたい使い方を挙げます。

全部を人が読み直す

出力を丸ごと読み直すと、現場が回らず確認も雑になります。見るべきは数値と固有名詞に絞ります。全部を同じ重さで見ようとすると、結局どこも見なくなります。

AIの答えをAIに確認させる

AIに「この答えは正しいか」と聞いても、同じ仕組みで嘘を重ねるだけです。検証は人か、原本の資料で行います。

根拠を聞かずに提出する

出典を確かめないまま社外に出すのが、最も危ない使い方です。社外提出物は全項目を人が確認します。入力してよい情報の線引きは生成AIに入力してよい情報とだめな情報にまとめています。

確認工程を決めるチェックリスト

任せる前に、次の5項目を業務ごとに確認します。1つでも「いいえ」なら、確認工程を厚くします。

「はい」が5つそろう業務から任せます。そろわない業務は、確認工程を足してから使います。最初の一歩の選び方は中小企業がAIを入れる最初の一歩。どの業務から始めれば失敗しないかを参照してください。

ハルシネーション対策、今日決める1つの工程

今日やることは、AIを使う業務を1つ選び、その数値を誰が照合するか決めることです。業務名と担当を紙に1行書くだけで始められます。たとえば「議事録の固有名詞は作成者が照合する」で十分です。全社ルールを作る前に、1業務で確認の形を固めると、ハルシネーションが現場に流れる前に止まります。