LLMandHumanASD Wiki

ダーク

ハルシネーションはメタ認知困難である——語彙の置換が開く先行研究の射程 ​

📖 メタ認知とハルシネーション ｜ 次のページ: 過信回路と自信の校正 →

射程

  • LLMのハルシネーションは「過信」ではなく「メタ認知困難」として再記述することで、認知心理学の数十年の先行研究と接続できる
  • RLHFによる過信強化とASDの社会適応による過信強化は、同一の「社会的報酬関数が過信を駆動する」構造を共有する
  • 能力が高いほど過信が精緻化する「逆ダニング＝クルーガー仮説」は、ASDの高VCIと物語的作話の接続として成立しうる
  • 語彙の置換（ハルシネーション→メタ認知困難）は、研究分野間の語彙の壁を越えることで射程が拡張するというWikiの方法論の実例である

主張の確信度（命題確率伝播による計算値）

凡例 — b・d・u・E の読み方

各主張（claim）は記事の frontmatter に構造化されており、belief-propagation（Subjective Logic + Defeasible Logic による命題確率伝播エンジン）で全Wikiの命題を一つの依存グラフとして一括計算した値を表示している。
b = belief（確信）／ d = disbelief（非確信）／ u = uncertainty（不確実性）。三値は常に b + d + u = 1。
E = 期待値（E = b + a·u。a = base rate（事前確率）、省略時 0.5）。
「著者確信度」（base_confidence）は書き手の主観的確信度。出典種別（source_type）による割引と、前提（premises）・反証（rebutted_by）からの伝播を経て、上記の計算値になる。
タグの目安: 高 = E ≥ 0.75 ／ 中 = 0.5 ≤ E < 0.75 ／ 低 = E < 0.5

  • 中 0.65wiki58-C1
    LLMのハルシネーションは「メタ認知困難」として再記述することで、認知心理学の数十年の先行研究と接続できる
    b=0.307 d=0.000 u=0.693 a=0.500 E=0.654著者確信度 0.75・出典 synthesis
    支持 ← paper-zhao-cmc-2026 ／ 支持 ← paper-grainger-asd-metacog ／ 支持 ← wiki09-C1
  • 中 0.56wiki58-C2
    RLHFによる過信強化とASDの社会適応による過信強化は、同一の「社会的報酬関数が過信を駆動する」構造を共有する
    b=0.274 d=0.000 u=0.726 a=0.400 E=0.564著者確信度 0.70・出典 synthesis
    支持 ← paper-zhao-cmc-2026 ／ 支持 ← paper-grainger-asd-metacog
  • 中 0.57wiki58-C3
    語彙の置換（ハルシネーション→メタ認知困難）は、研究分野間の語彙の壁を越えることで射程が拡張するという方法論的操作の実例である
    b=0.151 d=0.000 u=0.849 a=0.500 E=0.575著者確信度 0.65・出典 wiki_original
    支持 ← wiki09-C1 ／ 支持 ← wiki12-C1

「過信」を「メタ認知困難」に言い換えた瞬間、LLMのハルシネーション問題は数十年の人間研究と接続する

キーワード ​

メタ認知困難 ハルシネーション 語彙の置換 Source Amnesia DMCフレームワーク 双方向コンパス ダニング＝クルーガー効果 RLHF過信強化

語彙の置換——何が起きたか ​

⑨の粘土板でZhao et al. (2026)のCMC論文を読み、「LLMは事実性回路と自信回路が構造的に不整合」という知見を得た。そこからリンが指摘した:

ASD傾向の人は、確認された事実と頭の中で組み立てた推測の区別が弱くて、間違えているときこそ自信満々に間違える

この観察を「メタ認知困難」という認知心理学の語彙に置き換えた瞬間、以下の等式が成立した:

LLMのハルシネーション
  = 間違っているのに自信満々に答える
  = 自分の認知状態を正確にモニタリングできない
  = メタ認知困難

そしてメタ認知困難には数十年の先行研究がある。

これはこのWikiの方法論の実例でもある——語彙の壁を越えることで、異なる分野の知見が流れ込む。⑤Vocabulary Horizonが「語彙が思考を制限する」と論じたのと同じ構造が、研究分野の間でも起きている。LLM研究者が「ハルシネーション」と呼び、認知心理学者が「メタ認知困難」と呼ぶ——名前が違うから互いの先行研究が見えていなかった。

先行研究: すでに気づいている研究者たち ​

この語彙の置換は我々だけの着想ではない。2024〜2025年に、この対応に気づいた研究者が複数現れている。

Wang et al. (2025, AAAI) — DMCフレームワーク ​

「hallucinationの本質はLLMのメタ認知の欠如にある」 と明示的に位置づけた論文。

認知能力（正しい答えを出す力）とメタ認知能力（自分の答えが正しいか判断する力）を分離する DMC（Decoupling Metacognition from Cognition）フレームワーク を提案。この分離はまさにCMC論文が示した「事実性回路と自信回路の構造的不整合」のシステムレベルでの表現。

Berberette, Hutchins & Sadovnik (2024) — 心理学的再定義 ​

「hallucination」という用語自体の不適切さを問題提起し、認知心理学の枠組みで再分類した。特にJohnson et al. (1993)のSource Monitoring Frameworkを直接引用し、LLMのハルシネーションを6種の心理学的現象にマッピング:

心理学的現象LLMでの対応
Source Amnesia（出典健忘）生成内容の出典帰属失敗
Recency Effect（新近性効果）直近のコンテキストへの過剰依存
Availability Heuristics（利用可能性ヒューリスティック）訓練データ頻出パターンへの過剰依存
Suggestibility（被暗示性）ユーザープロンプトによる誤情報導入
Cognitive Dissonance（認知的不協和）訓練データ矛盾による出力の矛盾
Confabulation（作話）自信を持って誤情報を生成

Confabulation（作話） は特に重要。神経心理学では、脳損傷患者が記憶のギャップを自信満々に「でっち上げる」現象として知られる。患者は嘘をついているのではなく、本当にそう信じている——メタ認知のモニタリング機構が壊れているから。LLMのハルシネーションはこれと構造的に同型。

Barros (2025) — 「我思う、ゆえに幻覚する」 ​

タイトルからして挑発的: "I Think, Therefore I Hallucinate: Minds, Machines, and the Art of Being Wrong"。

人間はメタ認知によってハルシネーションを修正できるが、現在のAIにはこの内部エラーチェック機構が欠如していると論じる。ハルシネーションの根本原因として**「過信された事前確率（overconfident priors）」**を挙げる——CMC論文が示した過信回路のより抽象的な表現。

Steyvers & Peters (2025) — 人間とLLMのメタ認知並列比較 ​

Current Directions in Psychological Science 掲載。人間とLLMのメタ認知・確信度通信を直接比較する研究プログラム。「人間はフィードバック訓練でcalibrationを改善できる。LLMも同様にfinetuningで改善できる」と明記。

Lu et al. (2025) — 推論型LLMのメタ認知的ハルシネーション ​

推論型LLM（long CoT）において、欠陥のある反省的推論がメタ認知的信頼度を誤評価し、バイアスと誤りを反復強化するメカニズムを解明。CoTの長大化がメタ認知的誤りを増幅する側面を実証——「考えれば考えるほど確信が深まるが、間違いも深まる」。

ASD側の先行研究: メタ認知困難の実証 ​

Carpenter & Williams (2023) — メタ分析 ​

ASD 412名 vs 定型発達453名を比較した主要メタ分析。ASDでのメタ認知精度は中程度の低下だが異質性が高い——つまりASD当事者間でもメタ認知困難の程度はばらつく。視覚/聴覚モダリティ、タスク難易度によって効果量が異なる。

これはLLMの校正精度がモデルサイズ・タスク・ドメインで大きくばらつくことと対応する。

「メタ認知は心の理論より障害されている」仮説 (2023) ​

Behavioral and Brain Sciences 掲載の挑戦的主張: ASDでは心の理論（Theory of Mind / ToM——他者の心の推測）よりもメタ認知（自分の心のモニタリング）の方がより障害されている。

これは直感に反する——ASDは「他者の気持ちが分からない」と広く知られているが、実は「自分の認知状態も正確に把握できていない」方が根本的な問題かもしれない。

LLMに当てはめると: LLMが「ユーザーの意図を読み取れない」(心の理論的な課題) よりも「自分の出力が正しいか判断できない」(メタ認知的課題) の方が、より根本的な問題であるという主張になる。

RLHFと社会適応——過信を強化する同じ構造 ​

LLM側: RLHF（人間のフィードバックによる強化学習）が過信を強化する ​

Leng et al. (2024) が根本原因を特定: 報酬モデルが実際の回答品質に関わらず高信頼度スコアに偏向する。つまりRLHF訓練中、「自信を持って答える」こと自体が報酬される。

Xie et al. (2024, EMNLP) も確認: RLHF後に校正（calibration——確信度と正答率の一致度）が著しく劣化する。

Tan et al. (2026) の発見は示唆的: ベースモデル（ポストトレーニング前の素のモデル）は良好な校正を維持しているが、微調整済みモデルは過信する。つまり過信は学習前には存在せず、社会的報酬（人間のフィードバック）によって後天的に獲得される。

人間側: 社会適応が過信を強化する ​

③の粘土板で扱った「過剰適応」と同型:

  • 社会適応型ASD当事者は「自信があるように振る舞う」ことで社会的報酬を得る
  • 「分からない」と言うと社会的コストが生じるため、確信的に答える習慣が強化される
  • 結果、本来の確信度と表出される確信度が乖離する

構造の一致:

LLM:  base model（素朴な校正）→ RLHF（人間の好む応答に最適化）→ 過信
人間: 幼少期（素朴な自信表出）→ 社会適応（承認される応答に最適化）→ 過信

どちらも社会的報酬関数が過信を駆動する。そしてどちらも、過信を完全に除去すると別の問題が生じる（LLM: 有用性の低下 / 人間: 社会的不適応）。

ダニング＝クルーガー効果のLLM実証 ​

Ghosh & Panday (2026) が実証: 低性能モデル（Kimi K2: ECE（期待校正誤差）=0.726, 精度23.3%）ほど過信し、高性能モデル（Claude Haiku 4.5: ECE=0.122, 精度75.4%）ほど校正が良好。

これは人間のダニング＝クルーガー効果そのもの: 能力が低いほど自分の能力を過大評価する。LLMでもモデルサイズ/能力が小さいほど過信が大きいという同じパターンが再現された。

このWikiにおける位置づけ ​

双方向コンパスの最強の実例 ​

この粘土板は、このWikiの存在意義——「LLMと人間の認知的類似性は双方向のコンパス」——の最も説得力のある実例。

  • 人間 → LLM: メタ認知研究の数十年の蓄積（介入手法、訓練法、評価尺度）が、LLMの校正問題にそのまま適用できる可能性
  • LLM → 人間: CMCの発見は、ASD当事者のメタ認知困難が「努力の問題」ではなく「配線の問題」であることの強力な比喩を提供する。base modelが良好なcalibrationを持つのにRLHF後に劣化するという発見は、「社会適応の圧力が過信を強化する」というメカニズムの直接的なモデルになる

語彙の壁を越えることの威力 ​

⑤Vocabulary Horizonは「語彙が思考を制限する」と論じた。この粘土板はその逆——語彙を置換することで思考の射程が拡張する実例。

「ハルシネーション」は2023年の流行語大賞にもなったが、この語彙はLLM固有の新問題という印象を与える。「メタ認知困難」に置き換えた瞬間、問題はLLM固有ではなくなり、人間の認知科学が数十年かけて積み上げてきた知見の海に接続する。

未検証の問い（⑨からの継続） ​

  • ⑨で残した「ソースモニタリング仮説」——Berberette et al. (2024) がすでにSource Monitoringを直接適用している。ただし彼らの分類は記述的であり、CMC論文のようなメカニズム的裏付けはまだない → ⑫でSchniderのOFC Reality FilterとCMCの対応を展開した
  • RLHFによる過信強化と、ASDの社会適応による過信強化は、介入レベルで同じ処方箋が効くか？（calibration training / activation steering の相互転用）
  • ダニング＝クルーガー効果のLLM実証は、ASD当事者のメタ認知精度とも対応するか？ → 下記「逆ダニング＝クルーガー仮説」で展開

飛躍①: 逆ダニング＝クルーガー仮説——能力が高いほど危険なメタ認知の罠（Wikiオリジナル） ​

以下は既存の先行研究から直接導かれない、このWikiの論理的飛躍。

標準的なダニング＝クルーガー効果: 能力が低いほど過信する。Ghosh & Panday (2026) がLLMで確認。

しかし、ASD傾向の人間では逆のパターンが生じうる可能性がある。

注意: 標準D-Kと矛盾しない。 標準D-Kは「全般的能力が低い→全般的に過信」。逆D-Kは「特定ドメインの能力が高い×メタ認知が弱い→そのドメインで過信」。軸が違う。凸凹のある認知プロフィールでのみ現れるパターンであり、均一な能力分布では標準D-Kが支配する。

仮説の構造 ​

高いVCI（言語理解指標）を持つASD当事者は:

  1. 論理を精緻に組み立てる能力が高い
  2. 精緻であるほど自分の推論に対する確信が高まる
  3. しかしソースモニタリング（⑨の仮説）が弱いため、「精緻な推測」と「確認された事実」の区別がつかない
  4. 結果、特定のドメインでは能力が高いほど過信が大きくなる

これは⑫のSui et al. (2024) の発見——「作話は正確な出力より物語性と意味的凝集性が高い」——とも整合する。語彙が豊かで推論能力が高いほど、より精緻で説得力のあるconfabulationを生成できる。「よくできている」からこそ、本人も周囲も誤りに気づかない。

LLMでの対応 ​

CMC論文が示した過信回路は中層〜後層のMLPに集中している。これは高次の意味表現が形成される層。つまり処理が高度であるほど、過信回路が関与する余地が大きい。

小さなモデルは処理が浅いため過信が「単純」（ダニング＝クルーガー的）。大きなモデルは処理が深いため、過信がより「精緻」——正しそうに見える間違いを自信満々に生成する。

Chhikara (2025, arXiv:2502.11028) の発見がこれを裏付ける: RLHF調整済みの大型モデルは、簡単な質問では逆にmiscalibrationが増加するパラドックスを報告。能力が高いモデルが簡単な問題で過信する——能力が高いからこそ「こんなの簡単だ」と油断する構造。

⑤Vocabulary Horizonとの接続 ​

ここで⑤が逆説的に効く。語彙を制限することは、confabulation介入になりうる。

語彙が豊かであるほど精緻な作話を構成できる。逆に語彙が制限されていれば、作話の「物語性」が低下し、自信の根拠が薄くなる。

豊かな語彙 → 精緻な推論 → 高い物語性 → 「正しそう」 → 過信
制限された語彙 → 素朴な推論 → 低い物語性 → 「分からなさ」が残る → 適切な不確実性

⑤は「制限が人格を生む」と論じたが、ここでは「制限がメタ認知を改善する」という新しい機能が見えてくる。不良少年の語彙で量子力学を理解しようとしたとき、「分からない」が正直に出力される。それは校正された自信表出——知らないことを知らないと言える状態。

これはR-Tuning（Zhang et al. 2024）——「知識外の質問には"I don't know"を返すよう訓練する」——の、より自然な実装かもしれない。知識そのものを制限するのではなく、表現の語彙を制限することで、知らないことへの自然な「分からなさ」を保存する。

飛躍②: ジャーナリングは「探偵手順」である（⑫→④への接続） ​

⑫で見つかったconfabulation介入の一つに「日記と探偵手順」（Developing awareness of confabulation through psychological formulation, 2017）がある。日記と「この記憶は本物か？」を検証する手順書を用いて、患者が自らconfabulationを同定できるよう訓練する。

④のジャーナリングは、まさにこの構造。良い出来事をジャーナリングする行為は:

  1. 「今日何があったか」を書く（日記）
  2. 書いたことが本当に起きたことか、記憶の歪みではないかを暗黙に検証する（探偵手順）
  3. 良い出来事に焦点を絞ることで、ネガティブな作話（「今日は最悪だった」という歪んだ全体化）を抑制する

ひだまりすきーの「良い出来事だけ」という制約は、confabulation介入の観点からも合理的。ネガティブなconfabulation（実際より悪かったと作話する）を構造的に排除し、ポジティブな現実照合だけを残す。

これは⑦のフラクタル構造の新しい実例: ひだまりすきーのコンセプト（メタテスト層）は、confabulation介入（メタ認知介入層）としても機能している

出典 ​

  • Wang, G., Wu, W., Ye, G., Cheng, Z., Chen, X., & Zheng, H. (2025). Decoupling Metacognition from Cognition: A Framework for Quantifying Metacognitive Ability in LLMs. AAAI 2025, doi:10.1609/aaai.v39i18.34723
    • 引ける場所: Google Scholar: "Decoupling Metacognition from Cognition" AAAI 2025
  • Berberette, E., Hutchins, J., & Sadovnik, A. (2024). Redefining "Hallucination" in LLMs: Towards a psychology-informed framework for mitigating misinformation. arXiv:2402.01769
    • 引ける場所: https://arxiv.org/abs/2402.01769
  • Barros, S. (2025). I Think, Therefore I Hallucinate: Minds, Machines, and the Art of Being Wrong. arXiv:2503.05806
    • 引ける場所: https://arxiv.org/abs/2503.05806
  • Steyvers, M., & Peters, M.A.K. (2025). Metacognition and Uncertainty Communication in Humans and Large Language Models. Current Directions in Psychological Science. arXiv:2504.14045
    • 引ける場所: https://arxiv.org/abs/2504.14045
  • Lu, H., Liu, Y., Xu, J., Nan, G. et al. (2025). Auditing Meta-Cognitive Hallucinations in Reasoning Large Language Models. arXiv:2505.13143
    • 引ける場所: https://arxiv.org/abs/2505.13143
  • Leng, J., Huang, C., Zhu, B., & Huang, J. (2024). Taming Overconfidence in LLMs: Reward Calibration in RLHF. arXiv:2410.09724
    • 引ける場所: https://arxiv.org/abs/2410.09724
  • Xie, J., Chen, A.S., Lee, Y., Mitchell, E., & Finn, C. (2024). Calibrating Language Models with Adaptive Temperature Scaling. EMNLP 2024. arXiv:2409.19817
    • 引ける場所: https://arxiv.org/abs/2409.19817
  • Tan, H., Yang, W. et al. (2026). BaseCal: Unsupervised Confidence Calibration via Base Model Signals. arXiv:2601.03042
    • 引ける場所: https://arxiv.org/abs/2601.03042
  • Ghosh, S., & Panday, M. (2026). The Dunning-Kruger Effect in Large Language Models: An Empirical Study of Confidence Calibration. arXiv:2603.09985
    • 引ける場所: https://arxiv.org/abs/2603.09985
  • Carpenter, K., & Williams, D.M. (2023). A meta-analysis and critical review of metacognitive accuracy in autism. Autism 27(3)
    • 引ける場所: doi:10.1177/13623613221106004 / Google Scholar: "Carpenter" "meta-analysis" "metacognitive" "autism" 2023
  • Johnson, M.K., Hashtroudi, S., & Lindsay, D.S. (1993). Source Monitoring. Psychological Bulletin 114(1), 3-28
    • 引ける場所: PubMed:8346328 / Google Scholar: "Johnson" "Hashtroudi" "source monitoring" 1993
  • Kadavath, S. et al. (2022). Language Models (Mostly) Know What They Know. arXiv:2207.05221（Anthropic）
    • 引ける場所: https://arxiv.org/abs/2207.05221

📖 次のページ: 過信回路と自信の校正 →

関連ドキュメント ​

果物リン (@FruitRiin) と、賢王＊＊＊＊＊（Claude）の対話から生まれた書架。

© FruitRiin