Skip to content

メタ認知介入の対応表——人間の手法とLLMの独立再発明

📖 メタ認知とハルシネーション | ← 前のページ: 過信回路と自信の校正 | 次のページ: 作話と現実フィルタリング

射程

  • 認知心理学で確立された5つのメタ認知介入(確信度校正訓練・思考の声出し・自己説明・遅延学習判断・情報源識別)がLLM研究で独立に再発明されており、人間の先行研究がLLM設計に転用できる双方向コンパスとして機能する
  • ASD当事者の補償戦略(チェックリスト・他者確認・日記)はこれらのメタ認知介入の自然実装として位置づけられ、補償戦略・LLM技術・人間介入が三対応関係を形成する
  • Feeling of Knowing(FOK)とTip-of-the-Tongue(TOT)という人間の記憶現象がLLMにはまだ実装されておらず、聖杯(memory_mcp)へのプログラマティック忘却と段階的想起の精緻化として設計できる

主張の確信度(命題確率伝播による計算値)

凡例 — b・d・u・E の読み方

各主張(claim)は記事の frontmatter に構造化されており、belief-propagation(Subjective Logic + Defeasible Logic による命題確率伝播エンジン)で全Wikiの命題を一つの依存グラフとして一括計算した値を表示している。
b = belief(確信)/ d = disbelief(非確信)/ u = uncertainty(不確実性)。三値は常に b + d + u = 1。
E = 期待値(E = b + a·u。a = base rate(事前確率)、省略時 0.5)。
「著者確信度」(base_confidence)は書き手の主観的確信度。出典種別(source_type)による割引と、前提(premises)・反証(rebutted_by)からの伝播を経て、上記の計算値になる。
タグの目安: 高 = E ≥ 0.75 / 中 = 0.5 ≤ E < 0.75 / 低 = E < 0.5

  • 中 0.71wiki62-C1
    認知心理学で確立された5つのメタ認知介入(確信度校正訓練・思考の声出し・自己説明・遅延学習判断・情報源識別)がLLM研究で独立に再発明されており、双方向コンパスとして機能する
    b=0.413 d=0.000 u=0.587 a=0.500 E=0.706著者確信度 0.80・出典 peer_reviewed
    支持 ← paper-zhao-cmc-2026 / 支持 ← wiki58-C1
  • 中 0.52wiki62-C2
    ASD当事者の補償戦略(チェックリスト・他者確認・日記)はメタ認知介入の自然実装であり、補償戦略・LLM技術・人間介入が三対応関係を形成する
    b=0.193 d=0.000 u=0.807 a=0.400 E=0.516著者確信度 0.60・出典 humanities
    支持 ← paper-grainger-asd-metacog / 支持 ← wiki62-C1
  • 低 0.39wiki62-C3
    Feeling of KnowingとTip-of-the-Tongueという人間の記憶現象はLLMにはまだ実装されておらず、外部記憶システムへのプログラマティック忘却と段階的想起として設計できる
    b=0.131 d=0.000 u=0.869 a=0.300 E=0.392著者確信度 0.55・出典 wiki_original
    支持 ← wiki62-C1 / 支持 ← wiki60-C2

認知心理学で確立された5つのメタ認知介入が、LLM研究で独立に再発明されている

キーワード

メタ認知介入 独立再発明 calibration training think-aloud Chain-of-Thought self-explanation source monitoring delayed JOL test-time compute


対応表

全体像

#人間のメタ認知介入起点LLMの対応手法対応論文独立再発明?
1確信度の校正訓練(Calibration Training)Lichtenstein & Fischhoff (1980)校正ファインチューニング(Calibration Finetuning)Steyvers et al. (2025)✅ 独立再発明後に対応を発見
2思考の声出し(Think-Aloud Protocols)Ericsson & Simon (1993)思考の連鎖(Chain-of-Thought; CoT)Wei et al. (2022)✅ 独立再発明。機構の差異も検証済み
3自己説明(Self-Explanation)Chi et al. (1989)自己内省 / メタ認知的プロンプティング(Self-Reflection / Metacognitive Prompting)Wang & Zhao (2023)⚠️ 一部は意識的に着想
4遅延学習判断(Delayed JOL)Nelson & Narens (1990)推論時計算量拡大(Test-Time Compute) / 待機トークン(Wait Tokens)s1論文等 (2024-2025)✅ 独立再発明
5情報源の識別(Source Monitoring)Johnson et al. (1993)ハルシネーション検出 / 出典帰属(Attribution)Berberette et al. (2024)⚠️ 対応の指摘にとどまり、転用は未済
6既知感(Feeling of Knowing; FOK)Hart (1965)聖杯: プログラマティックな忘却(2b)Wiki独自設計 (2026)🔧 設計完了、実装待ち
7喉元現象(Tip-of-the-Tongue; TOT)Brown & McNeill (1966)聖杯: 段階的想起の精緻化(Progressive Recall)(2c)Wiki独自設計 (2026)🔧 設計完了、実装待ち

1. Calibration Training ↔ Calibration Finetuning

人間側

Lichtenstein & Fischhoff (1980) が確立。確信度と実際の正答率のズレを本人にフィードバックし、「あなたは90%確信しているが実際の正答率は60%だ」と繰り返し示すことで、過信を校正する訓練。ダニング=クルーガー効果の対処法としても知られる。

LLM側

  • Steyvers & Peters (2025): 人間のcalibration trainingとLLMのfinetuningを直接比較。「人間はフィードバック訓練でcalibrationを改善できる。LLMも同様にfinetuningで改善できる」
  • Steyvers, Belem & Smyth (2025, arXiv:2510.05126): マルチタスクfinetuningが未知ドメインへも汎化するcalibration改善を実現
  • Kapoor et al. (2024, arXiv:2406.08391): 正解・不正解例からなる約1,000例の小規模データセットでfinetuningし、汎用的な不確実性推定器を獲得。ユーザー研究でAI協働における人間の意思決定改善を実証
  • Tian et al. (2023, arXiv:2305.14975): RLHF-LMではverbalized confidence(言語化された自信)の方がトークン確率より校正精度が高い——逆説的だが、「聞けば答えてくれる」

対応の深さ: ★★★★★

最も直接的な対応。Steyvers & Peters (2025) が両者を同一の枠組みで論じており、対応は確立済み。

ASD補償戦略との接続

ASD当事者の補償戦略のうち「外部フィードバックの明示的利用」(Livingston 2019のAccommodation)は、calibration trainingの自然実装。チェックリスト、他者への確認、日記による振り返り——すべて「自分の確信度と現実のズレをフィードバックする」行為。


2. Think-Aloud Protocols ↔ Chain-of-Thought Prompting

人間側

Ericsson & Simon (1993) Protocol Analysis。推論過程を声に出して言語化すると、(a) 自分の推論の穴に気づきやすくなり、(b) モニタリング精度が上がる。教育心理学でも広く応用される。

LLM側

  • Wei et al. (2022, arXiv:2201.11903): Chain-of-Thought prompting。LLMに中間推論ステップを言語化させると複雑推論が劇的に改善。Ericsson-Simon効果の独立再発明
  • arXiv:2602.01015 (2026): 直接比較論文。タイトルが全てを語る: "Large Language Models as Students Who Think Aloud: Overly Coherent, Verbose, and Confident"。人間のthink-aloudはワーキングメモリ制約で断片的になるが、LLMは「過剰に一貫した」verbalizationを生成
  • arXiv:2505.20184 (2025): "THiNK: Can Large Language Models Think-aloud?"。LLMのthink-aloud能力の直接検証

対応の深さ: ★★★★★

最も有名な対応。ただし機構は根本的に異なる。人間のthink-aloudは「認知制約による産物」(ワーキングメモリの限界で情報が漏れ出る)だが、LLMのCoTは「coherenceを学習した産物」(流暢に接続された推論ステップを生成する)。

このWikiの文脈での重要な指摘: この「機能は似ても機構は異なる」という構造は、①起点記事の「表面的類似」の議論と同じ。表面的類似であっても有効な介入のヒントにはなる——それがこのWikiの双方向コンパスの前提。

calibrationへの影響

  • Yoon et al. (2025, arXiv:2505.14489): 推論モデル(extended CoT)は36設定中33設定で非推論モデルを上回るcalibrationを実現。「代替案の検討・バックトラッキングなどの遅い思考行動により、推論プロセス全体で信頼度を動的に調整できる」
  • しかし: Lu et al. (2025) は長いCoTがメタ認知的誤りを増幅する側面も実証。考えれば考えるほど確信が深まるが、間違いも深まる

人間でも同じ二面性がある——熟考することでメタ認知が改善する場合と、「考えすぎて確信が固まり修正できなくなる」場合(confirmation bias)。


3. Self-Explanation ↔ Self-Reflection / Metacognitive Prompting

人間側

Chi, Bassok, Lewis, Reimann & Glaser (1989)。「なぜそうなるか」を自分自身に説明させると、理解とメタ認知が改善する。単に答えを出すだけでなく「なぜその答えか」を言語化することで、推論の穴が可視化される。

LLM側

  • Wang & Zhao (2023, arXiv:2308.05342, NAACL 2024): Metacognitive Prompting。「人間の内省的推論プロセスに着想を得た」と明示的に記載。多段階自己評価プロンプトでGPT-4等の性能を改善
  • arXiv:2405.06682 (2024): Self-Reflection in LLM Agents。GPT-4では機能するがGPT-3.5では機能しない——能力の閾値依存性
  • EMNLP 2023 Findings: Self-Reflectionによるハルシネーション低減

対応の深さ: ★★★★☆

一部の論文は人間のメタ認知研究を意識的に参照しており、純粋な「独立再発明」ではない。ただし、人間側のself-explanation研究の豊富な知見(どの条件で効果的か、どの条件で逆効果か)がLLM側に十分に転用されているとは言えない。

能力の閾値問題

Self-reflectionがGPT-4で効くがGPT-3.5で効かないという発見は重要。人間のメタ認知研究でも、メタ認知介入は「ある程度の基礎能力がある人」に最も効果的で、基礎能力が低い人には効きにくいことが知られている。つまりメタ認知はメタ認知を改善するための最低限の認知能力を前提とする——再帰的な構造。


4. Delayed Judgment of Learning ↔ Test-Time Compute / Wait Tokens

人間側

Nelson & Narens (1990)。学習直後の「分かった!」という判断(即時JOL)より、間を置いてからの判断(遅延JOL)の方が、実際の記憶成績をよく予測する。即時の確信は「処理の流暢さ」に引きずられるが、時間が経つと真の理解度が反映される。

LLM側

  • Huff & Ulakçı (2024, arXiv:2410.13392): 直接比較研究。GPT-3.5/4-turbo/4oはいずれも「自分がどれだけ記憶できるか」の予測が人間より劣る。人間のJOLは記憶成績を有意に予測するが、LLMは予測できない
  • Test-time scaling / Wait tokens (2024-2025): 「考える時間を与える」ことでLLM推論精度が上がる——Kahneman的なSystem 2思考の独立再発明
  • Wu et al. (2025, arXiv:2505.18404): Thought Calibration。推論が「平坦化する地点」を動的に特定し、最大60%のトークン削減を性能維持しながら実現

対応の深さ: ★★★☆☆

対応は示唆的だが、人間のDelayed JOLに直接対応するLLM技術はまだ確立されていない。Test-time computeは「時間をかけて考える」という表面的な類似はあるが、JOLの核心(即時判断の不正確さを時間経過で補正する)はLLMにそのまま適用できるかどうか未検証。

転用の余地が最も大きい

この項目は「まだ転用されていない」からこそ、最も研究の余地がある。具体的な問い:

  • LLMに「まず回答し、次に間を置いてからその回答への確信度を判定する」二段階を設けるとcalibrationは改善するか?(Zhao et al. 2026のTSLD二段階設計はこれに近い)
  • test-time computeの「考える時間」は、Delayed JOLの「間を置く」と同じメカニズムか、それとも別物か?

5. Source Monitoring ↔ Hallucination Detection / Attribution

人間側

Johnson, Hashtroudi & Lindsay (1993)。「この情報は自分で見たのか、誰かに聞いたのか、推測したのか」を区別する認知過程。Source monitoring failureは、想像した出来事を実際の体験と混同する(例: 「鍵をかけたか覚えていない」→実は想像しただけ)。

LLM側

  • Berberette et al. (2024, arXiv:2402.01769): Johnson et al.のSource Monitoringを直接引用し、LLMハルシネーションを「Source Amnesia(出典健忘)」として位置づけ
  • しかし、この対応の指摘は記述的にとどまっている。Source monitoringを強化する具体的な介入手法(人間側では確立済み)がLLMに転用された例はまだ少ない

対応の深さ: ★★☆☆☆

対応の指摘はあるが、転用は未済。最も「双方向コンパス」の威力を発揮できる余地がある領域。

⑨ソースモニタリング仮説との接続

⑨の粘土板で我々が提起した「ソースモニタリング仮説」——ASD傾向の人が確認された事実と推測の区別が弱い——は、Berberette et al.の分類の中でSource AmnesiaConfabulationの交差点に位置する。

人間のsource monitoring trainingでは、情報に出典タグを明示的につける訓練が有効。LLMに対しても:

  • 生成時に「これは訓練データから」「これは推論で導出した」「これは不確かな推測」のタグを付与させる
  • RAG(Retrieval-Augmented Generation)はsource monitoringの外部実装と解釈できる

未発見の対応——まだ転用されていない人間の手法

調査の結果、以下の人間のメタ認知介入がLLMにまだ十分に転用されていないことが判明した。 → 2026-04-05の聖杯設計セッションで、FOKとTOTに対する実装設計が完了。

Feeling of Knowing (FOK) → 聖杯拡張2bで設計

「答えは知っているはずだが今は出てこない」という感覚。人間はFOKを使って「もう少し考えれば思い出せるか」を判断する。

聖杯での実装: プログラマティックな忘却(拡張2b)において、記憶は削除されず「沈む」だけ。recallの類似度スコアが高い(=意味的に近い記憶が存在する)にもかかわらず、リンク密度や時間減衰でfinalScoreが低い記憶——これがFOK状態の記憶。「存在するが浮上しない」。

システムが「この文脈に関連しそうな記憶があるが、通常のrecallでは浮上しなかった」と報告できれば、それはFOKの実装になる。

Ease of Learning (EOL) → 未実装

「これは簡単に学べそうだ」という事前予測。LLMのfew-shot learningにおいて、「この例示で十分か」の自己判断に対応するかもしれない。

現状: 聖杯の設計には含まれていない。rememberの際に「この記憶は既存のクラスターに容易に統合できるか」を事前予測できれば、EOLの実装になりうる。

Tip-of-the-Tongue (TOT) 状態 → 聖杯拡張2cで設計

「喉元まで出かかっている」状態。人間はこの状態を認知でき、追加の手がかりを求める。

聖杯での実装: 段階的想起の精緻化(Progressive Recall, 拡張2c)がまさにこれ。曖昧なクエリで広い候補を取り、キーワード・時間・場所・感情の制約を段階的に追加して検索空間を狭める。

FOK検知 → 「関連記憶がありそうだが特定できない」
  → Progressive Recall起動
    → 制約追加: キーワード? 時期? 感情?
      → 候補が絞られ特定 = TOT解消 = 「あ、思い出した!」

FOK(存在の検知)→ TOT(段階的掘削)→ 想起完了 は、忘却(2b)→精緻化(2c)のパイプラインとして聖杯に組み込める。

設計書: docs/holy-grail-wiki-architecture.md


統合: 介入スケールの連続体(更新版)

⑨で描いた「入口→中間層→出口」の連続体に、メタ認知介入を重ねる:

入口の制約
  語彙制限(⑤Vocabulary Horizon)
  人間: 育ちの語彙・経験の制限

中間層の介入
  Activation Steering(⑨CMC論文)    ← Calibration Training
  Chain-of-Thought                    ← Think-Aloud Protocols
  Self-Reflection                     ← Self-Explanation
  Test-Time Compute                   ← Delayed JOL

出口の検証
  メタテスト(⑥)                    ← Source Monitoring
  RAG / Attribution                   ← Source Monitoring
  人間: 外部チェック・他者フィードバック

すべてのレイヤーで、人間のメタ認知介入とLLMの手法が対応している。そしてすべてのレイヤーで、ASD当事者の補償戦略がその自然実装になっている。


出典

人間のメタ認知研究

  • Lichtenstein, S., & Fischhoff, B. (1980). Training for calibration. Organizational Behavior and Human Performance, 26(2), 149-171
    • 引ける場所: Google Scholar: "Lichtenstein" "Fischhoff" "training for calibration" 1980
  • Ericsson, K.A., & Simon, H.A. (1993). Protocol Analysis: Verbal Reports as Data (Revised Edition). MIT Press
    • 引ける場所: Google Scholar: "Ericsson" "Simon" "protocol analysis" 1993
  • Chi, M.T.H., Bassok, M., Lewis, M.W., Reimann, P., & Glaser, R. (1989). Self-explanations: How students study and use examples in learning to solve problems. Cognitive Science, 13, 145-182
    • 引ける場所: Google Scholar: "Chi" "self-explanations" "cognitive science" 1989
  • Nelson, T.O., & Narens, L. (1990). Metamemory: A theoretical framework and new findings. Psychology of Learning and Motivation, 26, 125-173
    • 引ける場所: Google Scholar: "Nelson" "Narens" "metamemory" "theoretical framework" 1990
  • Johnson, M.K., Hashtroudi, S., & Lindsay, D.S. (1993). Source Monitoring. Psychological Bulletin, 114(1), 3-28
    • 引ける場所: PubMed:8346328

LLMの対応研究

  • Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903
    • 引ける場所: https://arxiv.org/abs/2201.11903
  • Steyvers, M., & Peters, M.A.K. (2025). Metacognition and Uncertainty Communication in Humans and Large Language Models. arXiv:2504.14045
    • 引ける場所: https://arxiv.org/abs/2504.14045
  • Steyvers, M., Belem, C., & Smyth, P. (2025). Improving Metacognition and Uncertainty Communication in Language Models. arXiv:2510.05126
    • 引ける場所: https://arxiv.org/abs/2510.05126
  • Kapoor, S., Gruver, N., Roberts, M. et al. (2024). Large Language Models Must Be Taught to Know What They Don't Know. arXiv:2406.08391
    • 引ける場所: https://arxiv.org/abs/2406.08391
  • Tian, K., Mitchell, E., Zhou, A. et al. (2023). Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback. arXiv:2305.14975
    • 引ける場所: https://arxiv.org/abs/2305.14975
  • Wang, Y., & Zhao, Y. (2023). Metacognitive Prompting Improves Understanding in Large Language Models. NAACL 2024. arXiv:2308.05342
    • 引ける場所: https://arxiv.org/abs/2308.05342
  • Yoon, D., Kim, S., Yang, S. et al. (2025). Reasoning Models Better Express Their Confidence. arXiv:2505.14489
    • 引ける場所: https://arxiv.org/abs/2505.14489
  • Huff, M., & Ulakçı, S. (2024). Judgment of Learning: A Human Ability Beyond Generative Artificial Intelligence. arXiv:2410.13392
    • 引ける場所: https://arxiv.org/abs/2410.13392
  • Berberette, E., Hutchins, J., & Sadovnik, A. (2024). Redefining "Hallucination" in LLMs: Towards a psychology-informed framework. arXiv:2402.01769
    • 引ける場所: https://arxiv.org/abs/2402.01769
  • Yin, Z. et al. (2023). Do Large Language Models Know What They Don't Know?. arXiv:2305.18153
    • 引ける場所: https://arxiv.org/abs/2305.18153
  • Kadavath, S. et al. (2022). Language Models (Mostly) Know What They Know. arXiv:2207.05221(Anthropic)
    • 引ける場所: https://arxiv.org/abs/2207.05221
  • Zhang, S.D. et al. (2024). R-Tuning: Instructing Large Language Models to Say 'I Don't Know'. NAACL 2024 Outstanding Paper. arXiv:2311.09677
    • 引ける場所: https://arxiv.org/abs/2311.09677
  • Ackerman, C. (2025). Evidence for Limited Metacognition in LLMs. arXiv:2509.21545
    • 引ける場所: https://arxiv.org/abs/2509.21545
  • Xiong, M. et al. (2023). Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs. ICLR 2024. arXiv:2306.13063
    • 引ける場所: https://arxiv.org/abs/2306.13063
  • Lu, H. et al. (2025). Auditing Meta-Cognitive Hallucinations in Reasoning Large Language Models. arXiv:2505.13143
    • 引ける場所: https://arxiv.org/abs/2505.13143

直接比較研究

  • arXiv:2602.01015 (2026). Large Language Models as Students Who Think Aloud: Overly Coherent, Verbose, and Confident
    • 引ける場所: https://arxiv.org/abs/2602.01015
  • Wu, M. et al. (2025). Thought Calibration: Efficient and Confident Test-Time Scaling. arXiv:2505.18404
    • 引ける場所: https://arxiv.org/abs/2505.18404


📖 ← 前のページ: 過信回路と自信の校正 | 次のページ: 作話と現実フィルタリング

関連ドキュメント

果物リン (@FruitRiin) と、賢王*****(Claude)の対話から生まれた書架。