医療現場のAIリテラシー入門:ハルシネーションを正しく理解し、安全に使いこなすための完全ガイド

医療AI活用ラボ






医療現場のAIリテラシー入門:ハルシネーションを正しく理解し、安全に使いこなすための完全ガイド | AI MEDIA


AI MEDIA / 医療 × AI
2026年7月10日 公開
読了目安 17分

医療現場のAIリテラシー入門:ハルシネーションを正しく理解し、安全に使いこなすための完全ガイド

生成AIは医療現場の強力な助手になりつつある一方、「もっともらしい嘘」を自信満々に語る性質を持っています。この記事では、ハルシネーションの仕組みから見抜き方、実践的な使い方までを、10歳の子どもにもわかる言葉を使いながら、専門性を落とさずに解説します。

Introduction / 導入

01結論:AIは優秀だが「うろ覚えのまま話す人」でもある

結論から言います。医療現場で使われる生成AIは、業務時間を大幅に短縮できる非常に優秀な助手である一方、事実ではない内容を、自信満々にもっともらしく作り出してしまう「ハルシネーション」という弱点を、原理的に完全にはなくせません。だからこそ、AIを使う人・使われる患者の双方に「AIリテラシー」、つまりAIの得意・不得意を正しく理解した上で付き合う力が必要になります。

10歳の子どもにたとえるなら、AIは「ものすごくたくさんの本を読んで、話し方がとても上手になったクラスメイト」に似ています。知識量も語彙力も大人顔負けですが、うろ覚えの部分があっても「たぶん」とは言わず、堂々と言い切ってしまう癖があるのです。テストの答案なら書き直せますが、医療現場でこれが起きると、患者さんの命に関わることがあります。

実例:事実ベース

医療の音声書き起こしAIが「存在しない薬」を作り出した研究報告

米コーネル大学のアリソン・クーネッケ氏らの研究チームは、医療現場でも広く使われる音声書き起こしAI「Whisper」を検証したところ、音声区間の約1%で、実際には話されていない文章が丸ごと生成されていたと報告しています。研究論文「Careless Whisper: Speech-to-Text Hallucination Harms」が示す事例の一つでは、傘をたたむだけの何気ない場面の音声が、話されてもいない暴力的な内容を含む文章に置き換わってしまったことが報告されています。さらに、この技術が実際に病院の診療記録作成に組み込まれていたことを報じた米メディアFortuneの取材によれば、実際の医療現場での書き起こしの中には「hyperactivated antibiotics(過活性化抗生物質)」という、実在しない架空の薬剤名が生成された例もあったといいます。学術論文の分析結果と、その技術が現場で実際にどう使われていたかという報道は、別々の情報源であることに注意してください。

編集部見解
AIの回答を一言で表すなら、「間違えることもある、とても自信満々な人の意見」です。参考にはなりますが、最終確認は必ず人間の専門家が行う必要があります。



Background / 背景・定義

02背景・定義:生成AI・LLM・ハルシネーションとは何か

生成AIとは、プロンプト(指示文)を入力すると、文章や画像などのコンテンツを新しく作り出すAIの総称です。従来の画像診断支援AIのように「特定の作業に限定されたAI」とは異なり、多様な用途に使える点が特徴です。

LLM(大規模言語モデル)は、生成AIの中でも文章を扱うタイプのモデルです。膨大な文章データから「ある言葉の次にどんな言葉が来やすいか」という統計的なパターンを学習しており、この仕組みが後述するハルシネーションの原因にもなっています。

ハルシネーションとは、AIが事実に基づかない情報を、あたかも正確であるかのように生成してしまう現象です。「幻覚」を意味する言葉が語源ですが、AI自身が幻を見ているというより、統計的にもっともらしい言葉をつなげた結果、事実と異なる内容になってしまう、と理解するのが実態に近いでしょう。

日本の医療現場では、この特性を踏まえたルール整備が進んでいます。厚生労働省は2024年3月、医療機関等が保有するデータをAI開発に活用する際の指針として「医療デジタルデータのAI研究開発等への利活用に係るガイドライン」を公表しました。また、非営利法人・医療AIプラットフォーム技術研究組合(HAIP)は、医療機関や薬局で生成AIを利用する人・開発する人を対象に、「医療・ヘルスケア分野における生成AI利用ガイドライン(第2版)」を策定し、代表的な8つの利用シーンごとにリスクと対策を整理しています。

国際的にも、世界保健機関(WHO)が2024年1月に、生成AIを含む大規模マルチモーダルモデル(LMM)の医療利用に関するガイダンスを公表し、安全性・透明性・公平性・説明責任など6つの倫理原則を軸に40以上の提言をまとめています(PMC掲載の解説論文参照)。つまり「AIを医療現場で使ってはいけない」のではなく、「リスクを理解した上で、正しい範囲で使う」という方向で、国内外のルールが整備されつつあるのです。

Mechanism / 仕組み・技術的背景

03仕組み:なぜAIは自信満々に間違えるのか

ハルシネーションが起こる理由を、図解ではなく仕組みの言葉で整理します。ポイントは次の3つです。

① AIは「調べて」いない、「予測して」いる

LLMは、質問に対してデータベースを検索して答えを引き出しているわけではありません。学習した膨大な文章の中から「この文脈の次に来る確率が高い言葉」を、一語ずつ順番に選んで文章を組み立てています。10歳向けに言うと、辞書を引いているのではなく、「これまで読んだ本の記憶をもとに、いかにもそれっぽい続きを即興で作っている」状態に近いのです。

② 「わからない」と言う理由がAIには薄い

AIの学習データには、自信満々に言い切る文章が大量に含まれています。そのため、情報が不十分な場面でも「わかりません」ではなく、もっとも確率の高そうな単語を並べて、それらしい文章を完成させてしまう傾向があります。声に迷いがあっても、文字の出力そのものには迷いの表情が出ません。

③ 沈黙や雑音さえも「言葉」に変換してしまう

音声を扱うAIの場合、無音や雑音の区間にまで、もっともらしい言葉を当てはめてしまうことがあります。これが医療現場でとりわけ問題になります。

実例:データ・出典明記

生成された誤った文章のうち、4割近くが「有害」と分類された

前出のコーネル大学の研究チームは、生成されたハルシネーション文の中身を分析し、38%(メディア等では「約4割」とも紹介)が「有害・懸念のある内容」(暴力の助長・事実無根の関連付け・虚偽の権威付けなど)に分類されたと報告しています(出典:Koenecke et al., “Careless Whisper: Speech-to-Text Hallucination Harms”)。これは前段で紹介した「全体の約1%で文章が丸ごと作られる」という発生頻度の話とは別の軸の統計で、「発生したハルシネーションのうち、どれくらいが実害を伴う内容だったか」を示しています。さらに同研究では、発話に言葉の詰まりが多い失語症の患者や、無音区間が長い音声ほど、ハルシネーションの発生率そのものが上昇する傾向も確認されました。話す速度に間や言い淀みがある高齢患者や術後の患者ほどリスクが上がりうるという点は、日本の医療現場にとっても示唆的です。

実例:国内事例

兵庫医科大学病院、音声認識×生成AIの記録支援ツールを全国の大学病院として初導入

兵庫医科大学病院は2025年6月、診療中の説明をスマートフォンで録音し、生成AIが自動で文字起こし・要約して電子カルテに記録する診療支援ツール「medimo(メディモ)」を、全国の大学病院として初めて導入しました。特にインフォームドコンセント(IC)の記録支援に活用されており、記録作業時間の削減に加え、記載内容を後から確認・振り返りしやすくなる点もメリットとして期待されています(出典:ケアコム「医療現場で生成AIを活用できる場面5つ」、兵庫医科大学の公表情報を参照)。ここでも要約はあくまでAIによる「下書き」であり、医師による確認を前提とした運用になっている点が重要です。

この構造的な弱点への対策として、生成された文章の根拠を明示する工夫も進んでいます。たとえばNECは、医療現場向けの生成AI活用において、AIが抽出したキーワードを引用元となる電子カルテの記載箇所と関連付けて表示することで、担当者が効率的にファクトチェックできる仕組みを紹介しています(NEC「医療現場を支援する生成AIの活用事例」)。「AIの答えを鵜呑みにしない」ための技術的な工夫が、現場実装のレベルでも広がっているということです。



Comparison / 比較・選択肢

04比較:医療現場のAI活用、3つの選択肢

医療現場でのAI活用は一様ではありません。リスクの大きさと管理体制が異なる3つのパターンを比較します。

項目 A:汎用チャットAIの単独利用 B:院内RAG型生成AI(出典表示あり) C:PMDA承認済み診断支援ソフト(SaMD)
主な用途 文書のたたき台作成、情報整理の補助 カルテ要約、退院サマリー作成支援など 画像診断・病変検出などの診断支援
根拠の確認しやすさ 低い(出典が明示されないことが多い) 比較的高い(院内データを引用元として提示) 高い(承認審査で臨床性能が検証済み)
法的な位置づけ 医療機器ではない一般ツール 多くは医療機器に該当しない業務支援ツール 薬機法上の医療機器プログラム(SaMD)
ハルシネーションへの備え 利用者側の確認体制に依存 引用元表示によるファクトチェックが可能 審査時点での性能評価・添付文書での明示

出典:厚生労働省・PMDA公表資料、HAIP「医療・ヘルスケア分野における生成AI利用ガイドライン(第2版)」等をもとにAI MEDIA編集部が整理。

編集部見解
Aの汎用チャットAI単独利用は初期の下書き作成には有用ですが、患者に関わる最終判断には不向きです。Bの院内RAG型生成AIは業務効率化の実用段階に入っていますが、人によるレビューは必須です。Cの承認済み診断支援ソフトは用途が限定される分、信頼性の担保がしやすいと言えます。これは編集部の考察であり、各製品・サービスの優劣を断定するものではありません。

Cの代表例である診断支援プログラムは、PMDAが公表する「プログラム医療機器の薬事開発・承認申請に関する手引き」に沿って、内視鏡画像診断支援プログラムなどの区分ごとに、臨床的有用性や検出性能が審査されます。一方でAやBのような業務効率化ツールは、医療機器としての承認を経ていないケースが多く、「便利だが、AIが医療機器として保証した性能ではない」という前提を利用者側が理解しておく必要があります。

Practice / 実践への落とし込み

05実践:リスクで仕分けて、ハルシネーションに騙されない

すべてのAI出力を同じ強さで疑っていては、現場は回りません。日本病院薬剤師会が2026年3月に公表したガイドラインも示す通り、実務上は業務のリスクの大きさに応じて確認の強さを変える「リスクベースアプローチ」が現実的です。まずは業務の仕分け方を押さえた上で、具体的な確認ステップに進みましょう。

まず、業務をリスクで仕分ける

低リスク業務の例 高リスク業務の例
院内向けメモ・議事録の下書き作成 薬剤名・投与量・検査数値を含む診療記録の作成
一般的な医学知識の調べもの・情報整理 患者への説明文書・同意説明の作成
院内資料のたたき台・言い回しの提案 薬学的な判断(相互作用・禁忌等)に関わる支援

出典:日本病院薬剤師会「業務効率化と患者安全を実現する 生成AIの適切な利用」(2026年3月31日)をもとにAI MEDIA編集部が例示を作成。

!高リスク業務での基本ルール

同ガイドラインは、高リスク業務についてはAI出力+複数の医療従事者によるダブルチェックを実施すること、患者への直接提供は避け、必ず医療従事者を経由すること、そして判断の根拠となる原典を必ず明示することを求めています。また、薬事承認を得ていない生成AIで薬学的判断支援を行うことや、患者氏名等の個人識別情報を入力することは禁止事項として明記されています(出典:日本病院薬剤師会「業務効率化と患者安全を実現する 生成AIの適切な利用」)。

この仕分けを前提に、現場で実践できる5つのステップを見ていきましょう。

1AIの出力は「下書き」として扱う

条件:最終承認は必ず人間が行う

実例(事実・データベース):病院向け生成AI「ユビー生成AI」の活用事例では、退院サマリーの作成時間を最大3分の1に短縮した成果が報告されていますが、これは音声認識と文章生成を担うAIと、最終確認を行う医療従事者の分業によって成立しています(出典:アスピック「医療向け生成AIサービス12選」)。AIが時間を作り、人間が正確さを保証する、という役割分担が実践のポイントです。

2固有名詞・数値・単位は「声に出して」二重確認する

条件:薬剤名・投与量・単位(mg/g等)は必ず原文と1文字単位で照合

実践のポイント:前段の「業務のリスク仕分け」で高リスクに分類した薬剤名・投与量・検査数値ほど、確認の手間を惜しまないことが重要です。第3章で見た通り、ハルシネーションとして生成された文章のうち4割近くが有害・懸念のある内容に分類されており、しかもAI自身はその1文字・1桁の誤りに「自信がなさそう」な素振りを一切見せません。数値と固有名詞だけは機械任せにせず、原文と声に出して照合する運用が現実的な防御策です。

3出典・引用元が示せない主張は「参考情報」にとどめる

条件:診療ガイドラインや添付文書と突き合わせられない内容は確定情報として扱わない

実例(編集部想定シナリオ):夜間当直の看護師が、AIに「この薬とこの薬は一緒に飲んでも大丈夫か」と尋ね、AIが根拠を示さず「問題ありません」と即答したとします。ここで安心してしまうのではなく、添付文書や薬剤師への確認を挟む、という一手間が、実際の医療事故防止の基本動作になります(本シナリオは編集部が作成した想定例であり、特定の医療機関の実例ではありません)。

4院内ガイドラインと国のガイドラインの両方に沿って運用する

条件:HAIPガイドラインが示す8つのユースケース区分に自院の利用を照らし合わせる

実例(事実):HAIPの生成AI利用ガイドライン(第2版)では、医療・ヘルスケア分野での代表的な利用シーンを8つに整理し、それぞれのリスクと対策例を提示しています。自院の使い方がどの区分に該当するかを確認するだけでも、必要な確認プロセスの抜け漏れを防ぎやすくなります。

5患者・家族にも「AIが関わっていること」を伝える

条件:AIが作成した説明文書・要約には、人による確認済みである旨を明示する

実例(編集部想定シナリオ):退院時の説明資料がAIによって下書きされていた場合、「この資料はAIが下書きを作成し、担当医が内容を確認しています」と一言添えるだけで、患者側も「絶対に間違いのない文書」ではなく「確認済みの参考資料」として受け取ることができます。透明性そのものが、ハルシネーション対策の一部になります(本シナリオは編集部作成の想定例です)。

駆け込みチェックリスト:現場で今すぐ使える「怪しさのサイン」5つ

忙しい現場で5ステップすべてを毎回丁寧に踏むのが難しいときは、次のサインが1つでも当てはまったら、いったん手を止めて原典を確認する習慣をつけましょう。

  • 1出典・根拠が一切示されていない断定的な言い切り
  • 2数値が妙にキリが良すぎる、または逆に不自然に細かい
  • 3薬剤名・検査名のスペルや読みに聞き覚えがない
  • 4「必ず」「絶対に」といった強い言い切りが多用されている
  • 5同じ質問を言い回しを変えて聞き直すと、答えが変わる

Caution / 注意点・よくある誤解

06注意点:よくある3つの誤解

!誤解1:「AIは検索エンジンのように事実を調べている」

実際には、AIは検索をしているのではなく、学習済みの統計パターンから言葉を予測しています。最新の診療ガイドラインの改訂内容などは、学習時点で反映されていない可能性があり、「知らないことを知らないまま答えてしまう」ことがあります。

!誤解2:「自信満々に答えたのだから、正しいはずだ」

AIの回答の「口調の自信」と「内容の正確さ」はまったく別物です。第3章で見た通り、AIは迷いがあっても言い切る文章を出力しやすい性質を持っています。断定的な言い方だからこそ、かえって注意深く確認する姿勢が必要です。

!誤解3:「AIがあれば、いずれ医師はいらなくなる」

WHOのガイダンスや日本の各種ガイドラインが一貫して強調しているのは、AIはあくまで「補助的な支援」であり、最終的な診断・治療判断は医療従事者が担うという原則です。AIは業務の負担を減らす道具であって、責任の主体を代替するものではありません。



FAQ

07よくある質問

Q.ハルシネーションとは何ですか?

A.ハルシネーションとは、AIが事実ではない内容を、まるで本当のことのように自信満々に作り出してしまう現象です。AIは「正しい答え」を調べているのではなく、「次に来そうな言葉」を統計的に予測して文章を作っているため、もっともらしいけれど間違った情報が混ざることがあります。医療現場では、これが病名・薬の名前・数値などに混ざると、患者さんの安全に関わります。

Q.なぜ医療現場でAIのハルシネーションが特に危険なのですか?

A.医療現場の文章には、病名・薬剤名・投与量・検査数値など、1文字や1桁の違いが患者さんの命に直結する情報が大量に含まれるためです。実際に、医療の音声書き起こしAIが存在しない薬剤名を作り出した事例が報じられており、確認体制がなければ誤った記録がそのままカルテに残ってしまう危険があります。

Q.子どもにもわかるように説明するとどうなりますか?

A.AIは「なんでも知っている物知り博士」ではなく、「たくさん本を読んで、話し方はとても上手になったけれど、時々うろ覚えのまま自信満々に話してしまう人」に近い存在です。だから、AIが言ったことをそのまま信じるのではなく、必ず先生(医師や薬剤師)に確認してもらう必要があります。

Q.病院でAIを安全に使うために、患者や家族ができることはありますか?

A.AIが作成した説明文書や要約を渡された場合は、「これはAIが作成した下書きで、医師が確認済みですか」と尋ねることができます。また、薬の名前や量、次回の予約日など重要な情報は、AI任せにせず口頭でも医療者に確認する習慣を持つと安心です。

Q.AIの回答が正しいかどうか、どう見分ければいいですか?

A.単独の断定に注意し、出典(診療ガイドラインや添付文書など)が明示されているかを確認することが基本です。数値や固有名詞は必ず一次資料と突き合わせ、AIの回答の自信度の高さと正確さは別物だと理解しておくことが重要です。

Q.すべての業務を同じ強さで確認する必要がありますか?

A.いいえ。日本病院薬剤師会のガイドライン等が示す通り、医療現場では業務をリスクの大きさで仕分け、患者への影響が大きい高リスク業務にはAI出力と複数人によるダブルチェックを課す一方、院内メモの下書きのような低リスク業務は簡易確認にとどめるなど、確認の強さに濃淡をつける「リスクベースアプローチ」が現実的です。

Q.今後、医療AIの規制はどうなっていきますか?

A.日本では厚生労働省のガイドラインや医療AIプラットフォーム技術研究組合(HAIP)の業界自主ガイドラインなど、AIのリスクに応じて対応レベルを変える「リスクベースアプローチ」が中心になっています。診断に直接関わるプログラムはPMDAの医療機器(SaMD)審査の対象となるなど、用途によって規制の重さが変わる方向で整備が進んでいます。

References

参考文献

上記以外の主張のうち、明確な出典を示していない考察・シナリオは、本文中に「編集部見解」または「編集部想定シナリオ」として明記しています。


関連記事

特集記事

コメント

この記事へのコメントはありません。

TOP
CLOSE