作話と現実フィルタリング——ハルシネーションの神経心理学的対応
📖 メタ認知とハルシネーション | ← 前のページ: メタ認知介入の対応表 | 次のページ: ハルシネーションの破れ構造 →
射程
- LLMのハルシネーションは「幻覚(感覚の問題)」ではなく「作話(confabulation:記憶とメタ認知の問題)」として記述すべきであり、Schniderの4分類と眼窩前頭皮質のReality Filterの機能不全はCMCの事実性回路と自信回路の不整合に対応する
- ハルシネーション出力が正確な出力より物語性・意味的凝集性が高いという実証(Sui et al. 2024)は、RLHFが過信を強化するパラドックスを説明し、Calibration-aware RLHFが解法として示唆される
- Confabulation介入(系統的フィードバック・外部現実照合・semantic entropy検出)はRAGやcalibration finetuningに直接転用でき、逆方向にはsemantic entropyによる作話検出がASD当事者の自己モニタリングツールに転用できる
主張の確信度(命題確率伝播による計算値)
凡例 — b・d・u・E の読み方
各主張(claim)は記事の frontmatter に構造化されており、belief-propagation(Subjective Logic + Defeasible Logic による命題確率伝播エンジン)で全Wikiの命題を一つの依存グラフとして一括計算した値を表示している。
b = belief(確信)/ d = disbelief(非確信)/ u = uncertainty(不確実性)。三値は常に b + d + u = 1。
E = 期待値(E = b + a·u。a = base rate(事前確率)、省略時 0.5)。
「著者確信度」(base_confidence)は書き手の主観的確信度。出典種別(source_type)による割引と、前提(premises)・反証(rebutted_by)からの伝播を経て、上記の計算値になる。
タグの目安: 高 = E ≥ 0.75 / 中 = 0.5 ≤ E < 0.75 / 低 = E < 0.5
- 高 0.88
paper-schnider-confabulationSchnider (2003, 2008) 作話 (confabulation) の4分類と眼窩前頭皮質 Reality Filter の機能不全メカニズム (臨床神経心理学で広く追試)b=0.765 d=0.000 u=0.235 a=0.500 E=0.883著者確信度 0.85・出典 replicated - 高 0.76
paper-smith-confabulation-2023Smith, Greaves & Panch (2023) LLMの虚偽生成は『幻覚 (hallucination)』ではなく『作話 (confabulation)』として記述すべきであるb=0.525 d=0.000 u=0.475 a=0.500 E=0.763著者確信度 0.70・出典 peer_reviewed - 高 0.78
paper-sui-hallucination-2024Sui et al. (2024) LLMのハルシネーション出力は正確な出力より物語性・意味的凝集性が高い (RLHF の過信強化パラドックス)b=0.563 d=0.000 u=0.438 a=0.500 E=0.781著者確信度 0.75・出典 peer_reviewed - 中 0.69
wiki12-C1LLMのハルシネーションは作話 (confabulation) として記述でき、記憶とメタ認知の問題として CMC と同型の回路不整合に対応するb=0.378 d=0.000 u=0.622 a=0.500 E=0.689著者確信度 0.80・出典 synthesis支持 ←paper-schnider-confabulation/ 支持 ←paper-smith-confabulation-2023/ 支持 ←paper-zhao-cmc-2026 - 中 0.62
wiki12-C2Confabulation 介入 (系統的フィードバック・外部現実照合・semantic entropy 検出) は RAG や calibration finetuning に直接転用でき、逆方向には ASD 当事者の自己モニタリングツールに転用できるb=0.232 d=0.000 u=0.768 a=0.500 E=0.616著者確信度 0.65・出典 wiki_original支持 ←paper-schnider-confabulation/ 支持 ←wiki12-C1
Confabulation(作話)の神経心理学が、LLMハルシネーションのメカニズムと介入の両方に対応する
キーワード
confabulation(作話) Orbitofrontal Reality Filtering Schnider 2プロセスモニタリング Felt Rightness semantic entropy 物語性 Human-in-the-Loop
なぜ「作話」なのか——「幻覚」ではなく
LLMが虚偽の情報を自信満々に生成する現象は広く「ハルシネーション(幻覚)」と呼ばれている。しかしSmith, Greaves & Panch (2023) が最初期に指摘したように、LLMは感覚経験を持たないため「幻覚」は不正確。
「幻覚」は知覚の問題——存在しないものが見える。 「作話」は記憶とメタ認知の問題——存在しない記憶を自信をもって語る。
LLMがやっていることは後者に近い。訓練データに存在しない情報を、あたかも確かな知識であるかのように「語る」。しかも本人(モデル)にはそれが虚偽であるという自覚がない。
Confabulationの神経心理学
Schniderの4分類
Schnider (2003, 2008) による分類:
| 型 | 概要 | LLMでの対応 |
|---|---|---|
| Provoked(誘発型) | 記憶テスト時の侵入エラー。正常人にも軽度に見られる | プロンプトに誘導されて生じるハルシネーション |
| Momentary(瞬間型) | 質問への反射的な誤答。「うろ覚え」の延長 | 単純な事実誤認(年号の間違い等) |
| Fantastic(幻想型) | 日常から完全に乖離した荒唐無稽な作話 | 存在しない論文・人物・出来事の捏造 |
| Behaviourally spontaneous(行動的自発型) | 最も重篤。作話に従って行動する | エージェントLLMが誤った前提で行動を実行する |
重要: 誘発型と自発型は二重解離が確認されている——同一障害の重症度の差ではなく別の障害。これはLLMのハルシネーションにも示唆的。プロンプトに誘導される誤りと、自発的に捏造する誤りは、別のメカニズムかもしれない。
Orbitofrontal Reality Filtering
Schnider (2013) が提唱するconfabulationの核心メカニズム:
記憶が活性化されてから 200-300ms の間に眼窩前頭皮質(OFC)が「この記憶は今の現実に属するか」をフィルタリングする。
自発型confabulationではこのフィルタが機能不全を起こし、過去の記憶や無関係な連想が「現在の現実」として処理される。
CMCとの対応:
人間(OFC Reality Filter):
記憶活性化 → OFCが「現実に属するか」をフィルタ → 通過した記憶が発話に
フィルタ故障 → 過去の記憶が「今の事実」として語られる = 作話
LLM(CMC / 事実性回路):
トークン生成 → 事実性回路が「正しいか」を評価 → 自信回路が確信度を付与
回路の不整合 → 事実性と無関係に高自信が付与される = ハルシネーションどちらも生成とフィルタリングが分離しており、フィルタが機能しないとき虚偽が自信をもって出力される。
2プロセスモニタリングモデル
Moscovitch & Melo (1997) のモデル:
- 正しさの感覚(Felt Rightness): 高速・前意識的・直感的な誤り検知
- 精巧な編集者(Elaborate Editor): 意識的・意図的な検証プロセス
Confabulation患者は1番目(Felt Rightness)が選択的に失われている。2番目の意識的検証は残っているため、「考えれば分かるはず」なのに「感覚的におかしいと思えない」。
LLMとの対応:
- 正しさの感覚 ≈ モデル内部の校正(トークン確率レベルの自信評価)
- 精巧な編集者 ≈ 思考の連鎖(CoT)/ 自己内省(Self-Reflection)(意識的な再検証)
⑪の対応表で示したように、思考の声出し↔CoT、自己説明↔自己内省は「精巧な編集者」の対応。一方、正しさの感覚に対応するLLMの機構はCMC(自信移動回路; Confidence Mover Circuits)そのもの——高速・無意識的に自信度を付与する回路。
CMC論文が示した「事実性回路と自信回路の不整合」は、Moscovitchモデルの用語では「正しさの感覚の故障」に相当する。
病識欠如(Anosognosia——自分の障害に気づけないこと)
David et al. (2012) の重要な知見: confabulationと病識欠如は独立した障害。
「記憶的病識欠如(Mnemonic anosognosia)」——オンラインのエラー検出能力は保持しているが、その出力を自己認識の更新に使えない状態。
LLMでは: モデルは(CoTやself-reflectionで)エラーを検出できることがある。しかしその検出結果を次の生成に反映する回路が不十分。これはR-Tuning(Zhang et al. 2024)が「知識外の質問には拒否回答を返すよう訓練する」ことで対処しようとしている問題。
Confabulationの「価値」——物語性と精緻さ
Sui et al. (2024, ACL) の異色の発見:
ハルシネーション出力は正確な出力より物語性(narrativity)と意味的凝集性(semantic coherence)が高い
作話は「間違っているが、よくできた物語」である。これは⑨のソースモニタリング仮説——「精緻に組み立てたからこそ自信が高い」——のメカニズム的裏付け。
人間のconfabulation患者も同じ。作話は断片的な記憶の寄せ集めではなく、整合的で説得力のある物語として構成される。「よくできている」からこそ、本人も周囲も誤りに気づきにくい。
これはさらに⑤Vocabulary Horizonと繋がる。語彙が豊かであるほど精緻な物語を構成でき、精緻であるほど「正しそう」に見える。LLMの語彙は事実上無限であるため、この罠はより深い。
Confabulation介入とLLMへの転用
Francis et al. (2022) の系統的レビューで特定された10種の介入のうち、LLMに転用可能なものを整理する。
高い転用可能性
| 人間への介入 | LLMへの転用 | 備考 |
|---|---|---|
| 系統的フィードバック法 — 100%の誤りを明確にフィードバック (Triviño et al. 2017, d=2.85) | RLHF / DPO — 誤りに対する報酬の減算 | すでに実施中だが、⑩で示したようにRLHF自体が過信を強化する逆説がある |
| 外部現実照合 — 日記と「探偵手順」(この記憶は本物か?を検証) | RAG(外部知識ベースとの照合) | 主流の手法。Source Monitoringの外部実装 |
| Semantic entropy検出 (Farquhar et al. 2024, Nature) | 意味単位でクラスタリングしてconfabulationを検出 | 直接の工学的実装 |
中程度の転用可能性
| 人間への介入 | LLMへの転用 | 備考 |
|---|---|---|
| 自己モニタリング訓練 — 誤りの自己評価能力を段階的に構築 | CoT + self-consistency | 不確実性の明示化 |
| Felt Rightnessの再教育 | Calibration finetuning | ⑪対応表の項目1に対応 |
低い転用可能性(だが示唆的)
| 人間への介入 | 限界 | 示唆 |
|---|---|---|
| 3段階の気づき訓練 — 知的気づき→出現的気づき→予期的気づき | LLMに「気づきの主観」がない | しかし段階的な自己評価能力の構築という構造はR-Tuningに近い |
| 薬物治療(チアミン等) | 直接的な対応なし | ただし「栄養不足で故障する」→「訓練データ不足でハルシネーションが増える」という構造的対応は存在 |
逆説: RLHFは「系統的フィードバック」なのに過信を強化する
Triviño et al.の介入で最も効果的だったのは「100%の誤りを系統的にフィードバックする」こと。RLHFもまさに系統的フィードバックのはず。なのに⑩で示したように、RLHFは過信を強化する。
なぜか? 人間のcalibration trainingとの決定的な違いがある:
- 人間のフィードバック: 「あなたの確信度は90%だが正答率は60%だ」→確信度そのものにフィードバック
- RLHFのフィードバック: 「この回答は良い/悪い」→回答の質にフィードバック。確信度への直接的なフィードバックがない
つまりRLHFは「良い回答」を強化するが、「自信のある良い回答」と「慎重な良い回答」を区別しない。人間のrater(評価者)が自信のある回答を好む限り、過信が報酬される。
介入の提案: Calibration-aware RLHF——報酬モデルに「回答の質×確信度の適切さ」の二軸を組み込む。Leng et al. (2024) のPPO-M/PPO-Cがこの方向の先駆。
このWikiにおける位置づけ
Orbitofrontal Reality Filter=フラクタルの最小スケール
⑦のフラクタル構造に新しいスケールを追加する:
| スケール | メタテスト(検証) | 実装(行動) |
|---|---|---|
| 回路スケール(新) | OFC Reality Filter / CMC | 記憶の活性化 / トークン生成 |
| 個人スケール | 内省・補償戦略 | 日々の行動 |
| テストスケール | メタテスト | コード |
| 統治スケール | コンセプト | 投稿 |
200-300msのフィルタリングからSNSのTL全体の傾向検証まで、「生成→フィルタ→出力」の三段階が同型で繰り返されている。
作話の物語性=精緻さのパラドックス
⑨のソースモニタリング仮説を強化: 精緻に組み立てるからこそ自信が高く、物語性が高いからこそ誤りに気づきにくい。これはASD当事者の「論理的に精緻な推論を構築するが、その推論の前提が未確認」という特性と同型。
双方向コンパスの新しい矢印
- 人間 → LLM: Confabulation介入(特に系統的フィードバックと外部現実照合)の知見は、RAGとcalibration finetuningのデザインに直接活用できる
- LLM → 人間: Semantic entropy(意味的エントロピー)による作話検出は、ASD当事者のself-monitoringツールとして逆輸入できる可能性(「この発言の確信度は意味的に安定しているか」を可視化するツール)
出典
神経心理学
- Schnider, A. (2003). Spontaneous confabulation and the adaptation of thought to ongoing reality. Nature Reviews Neuroscience, 4(8), 662-671
- 引ける場所: PubMed:12894241
- Schnider, A. (2008). The Confabulating Mind: How the Brain Creates Reality. Oxford University Press
- 引ける場所: Google Scholar:
"Schnider" "confabulating mind" 2008
- 引ける場所: Google Scholar:
- Schnider, A. (2013). Orbitofrontal Reality Filtering. Frontiers in Behavioral Neuroscience
- 引ける場所: PMC:3677127 /
https://www.frontiersin.org/articles/10.3389/fnbeh.2013.00067/full
- 引ける場所: PMC:3677127 /
- Moscovitch, M. & Melo, B. (1997). Strategic retrieval and the frontal lobes: Evidence from confabulation and amnesia. Neuropsychologia, 35(7), 1017-1034
- 引ける場所: PubMed:9226662
- Gilboa, A. & Moscovitch, M. (2002). The cognitive neuroscience of confabulation: A review and a model. Handbook of Memory Disorders, 2nd ed.
- 引ける場所: Google Scholar:
"Gilboa" "Moscovitch" "confabulation" "review and a model"
- 引ける場所: Google Scholar:
- David, A.S. et al. (2012). Failures of metacognition and lack of insight in neuropsychiatric disorders. Philosophical Transactions of the Royal Society B, 367(1594)
- 引ける場所: PMC:3318769
Confabulation介入
- Francis, C., MacCallum, F., & Pierce, S. (2022). Interventions for confabulation: A systematic literature review. Neuropsychological Rehabilitation
- 引ける場所: PubMed:34289780
- Triviño, M. et al. (2017). Effectiveness of a neuropsychological treatment for confabulations after brain injury. PLOS ONE
- 引ける場所: PMC:5336256
LLM×Confabulation
- Smith, A.L., Greaves, F., & Panch, T. (2023). Hallucination or Confabulation? Neuroanatomy as metaphor in Large Language Models. PLOS Digital Health, 2(11)
- 引ける場所: PMC:10619792
- Sui, P., Duede, E., Wu, S., & So, R.J. (2024). Confabulation: The Surprising Value of Large Language Model Hallucinations. ACL 2024. arXiv:2406.04175
- 引ける場所:
https://arxiv.org/abs/2406.04175/ ACL Anthology:https://aclanthology.org/2024.acl-long.770
- 引ける場所:
- Farquhar, S., Kossen, J., Kuhn, L., & Gal, Y. (2024). Detecting hallucinations in large language models using semantic entropy. Nature, 630
- 引ける場所:
https://www.nature.com/articles/s41586-024-07421-0
- 引ける場所:
- Berberette, E., Hutchins, J., & Sadovnik, A. (2024). Redefining "Hallucination" in LLMs. arXiv:2402.01769. ⑩の粘土板より
- 引ける場所:
https://arxiv.org/abs/2402.01769
- 引ける場所:
📖 ← 前のページ: メタ認知介入の対応表 | 次のページ: ハルシネーションの破れ構造 →
関連ドキュメント
- ← 起点 ハルシネーションはメタ認知困難である — 語彙の置換からconfabulationへの深化
- ← 基盤 過信回路と自信の校正 — CMC=Orbitofrontal Reality Filterの計算論的対応
- ← 基盤 メタ認知介入の対応表 — 介入手法の対応。confabulation介入がさらに充実させる
- 共鳴 ↔ Vocabulary Horizon — 語彙制限による人格の思考誘導 — 作話の物語性と語彙の精緻さ
- 共鳴 ↔ コンテキストと感情の相互宿り — 感情が文脈を歪める ↔ 作話が現実を歪める
- 統合 → 制約・検証・規範のフラクタル構造 — Reality Filterはフラクタルの最小スケール
- 展開 → ハルシネーションの破れ構造——ミニスカ宇宙海賊で測るベースモデルの知識境界 — 破れの三類型(隣接ノード補完・媒体劣化・物語的整合性による作話)。作話の型の実験的実証
- 展開 → 感情が現実フィルタを歪める——OFC共有と校正不可能性 — OFCが感情処理と現実フィルタリングを共有することによる感情バイアス。confabulation理論の感情軸への拡張
- 共鳴 ↔ 破れの補正三段構え——記憶・推論・メタ自分の鶏と卵 — OFC Reality Filter=外部メタ自分のハードウェア実装として機能する補正構造