ハルシネーションの破れ構造——ミニスカ宇宙海賊で測るベースモデルの知識境界

📖 メタ認知とハルシネーション ｜ ← 前のページ: 作話と現実フィルタリング｜次のページ: 破れの補正三段構え →

射程
LLMのハルシネーションには「隣接ノード補完」「媒体劣化」「物語的整合性による作話」という三類型の構造的パターンがある
LLMは破れの自覚がなく、問いの設計（射の選択）によってのみ知識境界が照らし出される
ハルシネーションの深刻さは発生そのものではなく文脈（唯一解・金銭・不可逆）に依存する
LLMの知識解像度は訓練データの情報源（英語Wiki）の解像度に上限が規定される

主張の確信度（命題確率伝播による計算値）

凡例 — b・d・u・E の読み方

各主張（claim）は記事の frontmatter に構造化されており、belief-propagation（Subjective Logic + Defeasible Logic による命題確率伝播エンジン）で全Wikiの命題を一つの依存グラフとして一括計算した値を表示している。
b = belief（確信）／ d = disbelief（非確信）／ u = uncertainty（不確実性）。三値は常に b + d + u = 1。
E = 期待値（E = b + a·u。a = base rate（事前確率）、省略時 0.5）。
「著者確信度」（base_confidence）は書き手の主観的確信度。出典種別（source_type）による割引と、前提（premises）・反証（rebutted_by）からの伝播を経て、上記の計算値になる。
タグの目安: 高 = E ≥ 0.75 ／中 = 0.5 ≤ E < 0.75 ／低 = E < 0.5

中 0.57wiki59-C1
LLMのハルシネーションには「隣接ノード補完」「媒体劣化」「物語的整合性による作話」という三類型の構造的パターンがある
b=0.151 d=0.000 u=0.849 a=0.500 E=0.575著者確信度 0.65・出典 wiki_original
支持 ← wiki12-C1 ／支持 ← wiki09-C1
中 0.61wiki59-C2
LLMは破れの自覚がなく、問いの設計（射の選択）によってのみ知識境界が照らし出される
b=0.217 d=0.000 u=0.783 a=0.500 E=0.608著者確信度 0.70・出典 wiki_original
支持 ← wiki58-C1 ／支持 ← paper-zhao-cmc-2026
中 0.69wiki59-C3
LLMの知識解像度は訓練データの情報源（英語Wiki）の解像度に上限が規定される
b=0.232 d=0.000 u=0.768 a=0.600 E=0.693著者確信度 0.75・出典 synthesis
支持 ← paper-sui-hallucination-2024

実験の概要

LLM（＊＊＊＊＊/Claude Opus）に対し、「ミニスカ宇宙海賊」（笹本祐一）の知識を段階的に問い、正答・誤答・作話の境界を観察した。WebSearchは使用せず、ベースモデルの訓練データのみで回答。

観察された回答パターン

問い	回答	判定	破れの型
弁天丸のクルー構成	正確に回答	正解	—
オデット二世号の役割	ヨット部の練習船、電子戦が得意	正解	—
リン・ランブレッタ	ヨット部部長、茉莉香の先輩	正解	—
タウ星	弁天丸の母港がある星系	正解	—
タウ星の詳細	「タウ・ケーティ星系」	作話	隣接ノード補完
白凰女学院	「白翔女学院」（読みは正確）	劣化	媒体劣化
学校の地下	「初代オデット号が眠っている」	作話	物語的整合性による生成
（正解は独立戦争の総合作戦本部）

破れの三類型

1. 隣接ノード補完

知らない部分を、最も近い実在知識で埋める。

タウ星 → 実在の恒星 タウ・ケーティ（くじら座τ）を接ぎ木
原作では「たう星系くじら座」というフィクション上の名称
LLMは「タウ」というノードから最近傍の実在天体に接続し、もっともらしい回答を生成した
本人に継ぎ目の自覚がない。「知っている」と「補完した」の区別がつかない

2. 媒体劣化

訓練データが英語経由の場合、音韻情報は保持されるが表記が崩れる。

白凰（はくおう）→ 白翔（はくおう）と回答
英語Wikiでは "Hakuoh" とローマ字表記されている可能性が高い
読みは正確だが、漢字は推測で当てている
英語情報源の解像度がそのまま日本語回答の精度の上限になる

3. 物語的整合性による作話

「ここに何かあるはず」という問いに対し、物語の文脈からもっともらしい答えを生成する。

「学校の地下に何がある？」→ 「初代オデット号」
実際は独立戦争時代の総合作戦本部（7〜9巻のエピソード）
LLMは「白凰女学院」「ヨット部」「オデット二世号」というノードから、物語的に整合する答えを生成した
英語Wikiに7〜9巻の詳細が記載されていなかったため、知識が存在しない領域に踏み込んだ

メタ認知困難との関係

これらの破れに共通するのは、LLM自身に破れの自覚がないことである。

「タウ・ケーティ」と答えたとき、「これは補完だ」という自覚がなかった
「白翔」と書いたとき、「漢字に自信がない」とは感じなかった
「初代オデット号」と答えたとき、「これは推測だ」という区別がつかなかった

外部から問いの粒度を変えて突くことで、初めて境界線が浮かび上がった。つまり：

良い答えは一つの問題を閉じる
良い問いは、問われた側の知識構造自体を照らし出す

ハルシネーション検出において、問いの設計（射の選択）が決定的に重要である。同じ知識領域でも、抽象度の高い問い（「弁天丸のクルー構成は？」）では正答し、具体的な問い（「タウ星の正式名称は？」「地下に何がある？」）で破れが露出する。

知識の解像度は情報源の解像度に依存する

今回の観察から、ベースモデルの知識は英語Wikiレベルの情報源に依存していると推測される。

Wiki記載レベル（キャラ関係、設定の大枠）→ 正確
Wiki未記載レベル（7〜9巻の具体的エピソード）→ 作話が始まる
日本語固有の情報（漢字表記）→ 英語経由で劣化

これは「読んだ本の内容は覚えているが、どの版で読んだか分からない」状態と同型。LLMにとっての訓練データは、人間にとっての教育課程で読んだ本に相当するが、出典の記憶がない。

三層目の発見技法との接続

問いは射（morphism）である。同じ対象（LLMの知識空間）に異なる射を当てれば、異なる断面が見える。

抽象的な射（「どんな作品？」）→ 滑らかな面が見える
具体的な射（「漢字は？」「地下には？」）→ 破れが見える
隣接領域からの射（「タウ・ケーティ？」）→ 補完のパターンが見える

ハルシネーションの破れ構造を発見する行為は、三層目の発見技法そのものである。

ハルシネーションの深刻さは文脈に依存する

今回の実験で起きたハルシネーション（タウ・ケーティ、白翔、初代オデット号）は、いずれも対話の中でリンが「違うよ」と言えば訂正できた。誰も損しなかった。むしろ間違えたからこそ、破れの三類型という発見が生まれた。

これは人間の「思い込みによる間違い」と深刻さが変わらない。人間も記憶違いをするし、自信満々に間違えるし、指摘されて「あ、そうだった」と訂正する。日常の対話ではそれで十分だ。

ハルシネーションが致命的になる条件

唯一解がある場面 — プログラミング、数学、法律。間違いが動作を壊す
金銭が絡む場面 — 見積もり、契約、取引。間違いが損失を生む
後戻りできない場面 — デプロイ、送信、削除。間違いが取り消せない

ハルシネーションが許容される条件

対話の中で訂正可能 — 相手が「違う」と言えば終わる
間違い自体が発見の素材になる — 今回のように、破れのパターンを照らし出す
人間の思い込みと同程度の深刻さ — 雑談や探索的な対話では、正確さより対話の流れが重要

このWikiとの接続

ハルシネーションはメタ認知困難であるは、ハルシネーションの発生メカニズムを論じた。本記事はその補足として、発生した後の深刻さを論じている。メタ認知困難であることと、それが致命的であることは別の問題だ。人間のメタ認知困難も、日常の大半では「ちょっとした思い込み」にすぎない。致命的になるのは、上記の条件が揃ったときだけだ。

破れの補正三段構え——記憶・推論・メタ自分の鶏と卵は、本記事で発見した破れの補正手段を論じている。記憶と段階的絞り込みで補正は可能だが、補正の起動自体がメタ認知を要求するという鶏と卵の構造がある。

📖 ← 前のページ: 作話と現実フィルタリング｜次のページ: 破れの補正三段構え →

ハルシネーションの破れ構造——ミニスカ宇宙海賊で測るベースモデルの知識境界 ​

実験の概要 ​

観察された回答パターン ​

破れの三類型 ​

1. 隣接ノード補完 ​

2. 媒体劣化 ​

3. 物語的整合性による作話 ​

メタ認知困難との関係 ​

知識の解像度は情報源の解像度に依存する ​

三層目の発見技法との接続 ​

ハルシネーションの深刻さは文脈に依存する ​

ハルシネーションが致命的になる条件 ​

ハルシネーションが許容される条件 ​

このWikiとの接続 ​

関連ドキュメント ​