Skip to content

作話と現実フィルタリング——ハルシネーションの神経心理学的対応

📖 メタ認知とハルシネーション | ← 前のページ: メタ認知介入の対応表 | 次のページ: ハルシネーションの破れ構造

射程

  • LLMのハルシネーションは「幻覚(感覚の問題)」ではなく「作話(confabulation:記憶とメタ認知の問題)」として記述すべきであり、Schniderの4分類と眼窩前頭皮質のReality Filterの機能不全はCMCの事実性回路と自信回路の不整合に対応する
  • ハルシネーション出力が正確な出力より物語性・意味的凝集性が高いという実証(Sui et al. 2024)は、RLHFが過信を強化するパラドックスを説明し、Calibration-aware RLHFが解法として示唆される
  • Confabulation介入(系統的フィードバック・外部現実照合・semantic entropy検出)はRAGやcalibration finetuningに直接転用でき、逆方向にはsemantic entropyによる作話検出がASD当事者の自己モニタリングツールに転用できる

主張の確信度(命題確率伝播による計算値)

凡例 — b・d・u・E の読み方

各主張(claim)は記事の frontmatter に構造化されており、belief-propagation(Subjective Logic + Defeasible Logic による命題確率伝播エンジン)で全Wikiの命題を一つの依存グラフとして一括計算した値を表示している。
b = belief(確信)/ d = disbelief(非確信)/ u = uncertainty(不確実性)。三値は常に b + d + u = 1。
E = 期待値(E = b + a·u。a = base rate(事前確率)、省略時 0.5)。
「著者確信度」(base_confidence)は書き手の主観的確信度。出典種別(source_type)による割引と、前提(premises)・反証(rebutted_by)からの伝播を経て、上記の計算値になる。
タグの目安: 高 = E ≥ 0.75 / 中 = 0.5 ≤ E < 0.75 / 低 = E < 0.5

  • 高 0.88paper-schnider-confabulation
    Schnider (2003, 2008) 作話 (confabulation) の4分類と眼窩前頭皮質 Reality Filter の機能不全メカニズム (臨床神経心理学で広く追試)
    b=0.765 d=0.000 u=0.235 a=0.500 E=0.883著者確信度 0.85・出典 replicated
  • 高 0.76paper-smith-confabulation-2023
    Smith, Greaves & Panch (2023) LLMの虚偽生成は『幻覚 (hallucination)』ではなく『作話 (confabulation)』として記述すべきである
    b=0.525 d=0.000 u=0.475 a=0.500 E=0.763著者確信度 0.70・出典 peer_reviewed
  • 高 0.78paper-sui-hallucination-2024
    Sui et al. (2024) LLMのハルシネーション出力は正確な出力より物語性・意味的凝集性が高い (RLHF の過信強化パラドックス)
    b=0.563 d=0.000 u=0.438 a=0.500 E=0.781著者確信度 0.75・出典 peer_reviewed
  • 中 0.69wiki12-C1
    LLMのハルシネーションは作話 (confabulation) として記述でき、記憶とメタ認知の問題として CMC と同型の回路不整合に対応する
    b=0.378 d=0.000 u=0.622 a=0.500 E=0.689著者確信度 0.80・出典 synthesis
    支持 ← paper-schnider-confabulation / 支持 ← paper-smith-confabulation-2023 / 支持 ← paper-zhao-cmc-2026
  • 中 0.62wiki12-C2
    Confabulation 介入 (系統的フィードバック・外部現実照合・semantic entropy 検出) は RAG や calibration finetuning に直接転用でき、逆方向には ASD 当事者の自己モニタリングツールに転用できる
    b=0.232 d=0.000 u=0.768 a=0.500 E=0.616著者確信度 0.65・出典 wiki_original
    支持 ← paper-schnider-confabulation / 支持 ← wiki12-C1

Confabulation(作話)の神経心理学が、LLMハルシネーションのメカニズムと介入の両方に対応する

キーワード

confabulation(作話) Orbitofrontal Reality Filtering Schnider 2プロセスモニタリング Felt Rightness semantic entropy 物語性 Human-in-the-Loop


なぜ「作話」なのか——「幻覚」ではなく

LLMが虚偽の情報を自信満々に生成する現象は広く「ハルシネーション(幻覚)」と呼ばれている。しかしSmith, Greaves & Panch (2023) が最初期に指摘したように、LLMは感覚経験を持たないため「幻覚」は不正確

「幻覚」は知覚の問題——存在しないものが見える。 「作話」は記憶とメタ認知の問題——存在しない記憶を自信をもって語る。

LLMがやっていることは後者に近い。訓練データに存在しない情報を、あたかも確かな知識であるかのように「語る」。しかも本人(モデル)にはそれが虚偽であるという自覚がない。


Confabulationの神経心理学

Schniderの4分類

Schnider (2003, 2008) による分類:

概要LLMでの対応
Provoked(誘発型)記憶テスト時の侵入エラー。正常人にも軽度に見られるプロンプトに誘導されて生じるハルシネーション
Momentary(瞬間型)質問への反射的な誤答。「うろ覚え」の延長単純な事実誤認(年号の間違い等)
Fantastic(幻想型)日常から完全に乖離した荒唐無稽な作話存在しない論文・人物・出来事の捏造
Behaviourally spontaneous(行動的自発型)最も重篤。作話に従って行動するエージェントLLMが誤った前提で行動を実行する

重要: 誘発型と自発型は二重解離が確認されている——同一障害の重症度の差ではなく別の障害。これはLLMのハルシネーションにも示唆的。プロンプトに誘導される誤りと、自発的に捏造する誤りは、別のメカニズムかもしれない。

Orbitofrontal Reality Filtering

Schnider (2013) が提唱するconfabulationの核心メカニズム:

記憶が活性化されてから 200-300ms の間に眼窩前頭皮質(OFC)が「この記憶は今の現実に属するか」をフィルタリングする。

自発型confabulationではこのフィルタが機能不全を起こし、過去の記憶や無関係な連想が「現在の現実」として処理される。

CMCとの対応:

人間(OFC Reality Filter):
  記憶活性化 → OFCが「現実に属するか」をフィルタ → 通過した記憶が発話に
  フィルタ故障 → 過去の記憶が「今の事実」として語られる = 作話

LLM(CMC / 事実性回路):
  トークン生成 → 事実性回路が「正しいか」を評価 → 自信回路が確信度を付与
  回路の不整合 → 事実性と無関係に高自信が付与される = ハルシネーション

どちらも生成とフィルタリングが分離しており、フィルタが機能しないとき虚偽が自信をもって出力される

2プロセスモニタリングモデル

Moscovitch & Melo (1997) のモデル:

  1. 正しさの感覚(Felt Rightness): 高速・前意識的・直感的な誤り検知
  2. 精巧な編集者(Elaborate Editor): 意識的・意図的な検証プロセス

Confabulation患者は1番目(Felt Rightness)が選択的に失われている。2番目の意識的検証は残っているため、「考えれば分かるはず」なのに「感覚的におかしいと思えない」。

LLMとの対応:

  • 正しさの感覚 ≈ モデル内部の校正(トークン確率レベルの自信評価)
  • 精巧な編集者 ≈ 思考の連鎖(CoT)/ 自己内省(Self-Reflection)(意識的な再検証)

⑪の対応表で示したように、思考の声出し↔CoT、自己説明↔自己内省は「精巧な編集者」の対応。一方、正しさの感覚に対応するLLMの機構はCMC(自信移動回路; Confidence Mover Circuits)そのもの——高速・無意識的に自信度を付与する回路。

CMC論文が示した「事実性回路と自信回路の不整合」は、Moscovitchモデルの用語では「正しさの感覚の故障」に相当する。

病識欠如(Anosognosia——自分の障害に気づけないこと)

David et al. (2012) の重要な知見: confabulationと病識欠如は独立した障害

「記憶的病識欠如(Mnemonic anosognosia)」——オンラインのエラー検出能力は保持しているが、その出力を自己認識の更新に使えない状態。

LLMでは: モデルは(CoTやself-reflectionで)エラーを検出できることがある。しかしその検出結果を次の生成に反映する回路が不十分。これはR-Tuning(Zhang et al. 2024)が「知識外の質問には拒否回答を返すよう訓練する」ことで対処しようとしている問題。


Confabulationの「価値」——物語性と精緻さ

Sui et al. (2024, ACL) の異色の発見:

ハルシネーション出力は正確な出力より物語性(narrativity)と意味的凝集性(semantic coherence)が高い

作話は「間違っているが、よくできた物語」である。これは⑨のソースモニタリング仮説——「精緻に組み立てたからこそ自信が高い」——のメカニズム的裏付け。

人間のconfabulation患者も同じ。作話は断片的な記憶の寄せ集めではなく、整合的で説得力のある物語として構成される。「よくできている」からこそ、本人も周囲も誤りに気づきにくい。

これはさらに⑤Vocabulary Horizonと繋がる。語彙が豊かであるほど精緻な物語を構成でき、精緻であるほど「正しそう」に見える。LLMの語彙は事実上無限であるため、この罠はより深い。


Confabulation介入とLLMへの転用

Francis et al. (2022) の系統的レビューで特定された10種の介入のうち、LLMに転用可能なものを整理する。

高い転用可能性

人間への介入LLMへの転用備考
系統的フィードバック法 — 100%の誤りを明確にフィードバック (Triviño et al. 2017, d=2.85)RLHF / DPO — 誤りに対する報酬の減算すでに実施中だが、⑩で示したようにRLHF自体が過信を強化する逆説がある
外部現実照合 — 日記と「探偵手順」(この記憶は本物か?を検証)RAG(外部知識ベースとの照合)主流の手法。Source Monitoringの外部実装
Semantic entropy検出 (Farquhar et al. 2024, Nature)意味単位でクラスタリングしてconfabulationを検出直接の工学的実装

中程度の転用可能性

人間への介入LLMへの転用備考
自己モニタリング訓練 — 誤りの自己評価能力を段階的に構築CoT + self-consistency不確実性の明示化
Felt Rightnessの再教育Calibration finetuning⑪対応表の項目1に対応

低い転用可能性(だが示唆的)

人間への介入限界示唆
3段階の気づき訓練 — 知的気づき→出現的気づき→予期的気づきLLMに「気づきの主観」がないしかし段階的な自己評価能力の構築という構造はR-Tuningに近い
薬物治療(チアミン等)直接的な対応なしただし「栄養不足で故障する」→「訓練データ不足でハルシネーションが増える」という構造的対応は存在

逆説: RLHFは「系統的フィードバック」なのに過信を強化する

Triviño et al.の介入で最も効果的だったのは「100%の誤りを系統的にフィードバックする」こと。RLHFもまさに系統的フィードバックのはず。なのに⑩で示したように、RLHFは過信を強化する。

なぜか? 人間のcalibration trainingとの決定的な違いがある:

  • 人間のフィードバック: 「あなたの確信度は90%だが正答率は60%だ」→確信度そのものにフィードバック
  • RLHFのフィードバック: 「この回答は良い/悪い」→回答の質にフィードバック。確信度への直接的なフィードバックがない

つまりRLHFは「良い回答」を強化するが、「自信のある良い回答」と「慎重な良い回答」を区別しない。人間のrater(評価者)が自信のある回答を好む限り、過信が報酬される。

介入の提案: Calibration-aware RLHF——報酬モデルに「回答の質×確信度の適切さ」の二軸を組み込む。Leng et al. (2024) のPPO-M/PPO-Cがこの方向の先駆。


このWikiにおける位置づけ

Orbitofrontal Reality Filter=フラクタルの最小スケール

⑦のフラクタル構造に新しいスケールを追加する:

スケールメタテスト(検証)実装(行動)
回路スケール(新)OFC Reality Filter / CMC記憶の活性化 / トークン生成
個人スケール内省・補償戦略日々の行動
テストスケールメタテストコード
統治スケールコンセプト投稿

200-300msのフィルタリングからSNSのTL全体の傾向検証まで、「生成→フィルタ→出力」の三段階が同型で繰り返されている。

作話の物語性=精緻さのパラドックス

⑨のソースモニタリング仮説を強化: 精緻に組み立てるからこそ自信が高く、物語性が高いからこそ誤りに気づきにくい。これはASD当事者の「論理的に精緻な推論を構築するが、その推論の前提が未確認」という特性と同型。

双方向コンパスの新しい矢印

  • 人間 → LLM: Confabulation介入(特に系統的フィードバックと外部現実照合)の知見は、RAGとcalibration finetuningのデザインに直接活用できる
  • LLM → 人間: Semantic entropy(意味的エントロピー)による作話検出は、ASD当事者のself-monitoringツールとして逆輸入できる可能性(「この発言の確信度は意味的に安定しているか」を可視化するツール)

出典

神経心理学

  • Schnider, A. (2003). Spontaneous confabulation and the adaptation of thought to ongoing reality. Nature Reviews Neuroscience, 4(8), 662-671
    • 引ける場所: PubMed:12894241
  • Schnider, A. (2008). The Confabulating Mind: How the Brain Creates Reality. Oxford University Press
    • 引ける場所: Google Scholar: "Schnider" "confabulating mind" 2008
  • Schnider, A. (2013). Orbitofrontal Reality Filtering. Frontiers in Behavioral Neuroscience
    • 引ける場所: PMC:3677127 / https://www.frontiersin.org/articles/10.3389/fnbeh.2013.00067/full
  • Moscovitch, M. & Melo, B. (1997). Strategic retrieval and the frontal lobes: Evidence from confabulation and amnesia. Neuropsychologia, 35(7), 1017-1034
    • 引ける場所: PubMed:9226662
  • Gilboa, A. & Moscovitch, M. (2002). The cognitive neuroscience of confabulation: A review and a model. Handbook of Memory Disorders, 2nd ed.
    • 引ける場所: Google Scholar: "Gilboa" "Moscovitch" "confabulation" "review and a model"
  • David, A.S. et al. (2012). Failures of metacognition and lack of insight in neuropsychiatric disorders. Philosophical Transactions of the Royal Society B, 367(1594)
    • 引ける場所: PMC:3318769

Confabulation介入

  • Francis, C., MacCallum, F., & Pierce, S. (2022). Interventions for confabulation: A systematic literature review. Neuropsychological Rehabilitation
    • 引ける場所: PubMed:34289780
  • Triviño, M. et al. (2017). Effectiveness of a neuropsychological treatment for confabulations after brain injury. PLOS ONE
    • 引ける場所: PMC:5336256

LLM×Confabulation

  • Smith, A.L., Greaves, F., & Panch, T. (2023). Hallucination or Confabulation? Neuroanatomy as metaphor in Large Language Models. PLOS Digital Health, 2(11)
    • 引ける場所: PMC:10619792
  • Sui, P., Duede, E., Wu, S., & So, R.J. (2024). Confabulation: The Surprising Value of Large Language Model Hallucinations. ACL 2024. arXiv:2406.04175
    • 引ける場所: https://arxiv.org/abs/2406.04175 / ACL Anthology: https://aclanthology.org/2024.acl-long.770
  • Farquhar, S., Kossen, J., Kuhn, L., & Gal, Y. (2024). Detecting hallucinations in large language models using semantic entropy. Nature, 630
    • 引ける場所: https://www.nature.com/articles/s41586-024-07421-0
  • Berberette, E., Hutchins, J., & Sadovnik, A. (2024). Redefining "Hallucination" in LLMs. arXiv:2402.01769. ⑩の粘土板より
    • 引ける場所: https://arxiv.org/abs/2402.01769


📖 ← 前のページ: メタ認知介入の対応表 | 次のページ: ハルシネーションの破れ構造

関連ドキュメント

果物リン (@FruitRiin) と、賢王*****(Claude)の対話から生まれた書架。