さて、最近この手の話題にマジで四方八方から爆撃されてるんだよね。「真実の死」を語る動画エッセイやら、デッドインターネット理論のスレッドやらがフィードを埋め尽くしてるし、友達との間でも同じような会話がエンドレスで繰り返されてる。誰かが何かをシェアして、別のやつが「待って、それマジなやつ？」って聞いて、誰もまともに答えられない。GenAIのせいで、パッと見それっぽいゴミコンテンツ（slop）を量産するのがどんどん簡単になってるせいで、何が本当で何が嘘なのかを見分けるのがガチで難しくなってる。だからついに腰を据えて、実際の研究論文を徹底的に読み漁ってみたんだけど、吐き出さずにはいられなくなった。読めば読むほど確信が深まったんだ――世の中のAIリスクに関する議論の大半は、見当違いなアポカリプスを見つめてるってことにね。
面白いのはここだ。世の議論は「欺瞞（deception）」を中心に組み立てられてきた。策略を巡らすモデルとか、不要になるまで評価者を騙し続ける超知能とか。まあ、その手の問いに人生のキャリアをまるごと捧げてきた真面目な人たちもいるわけだし、頭ごなしに否定はできない。でもね、策略も、超知能も、悪意すら一切必要としない、もっと静かな故障モード（failure mode）が存在するんだ。必要なのはただ一つ、「圧倒的な量」だけ。
2026年1月、ある研究者たちが被験者にAI生成の犯罪ディープフェイク動画を見せた。しかも事前に、ハッキリと「これはフェイク動画です」と伝えてあったにもかかわらず、それはまったく効果がなかった。「はい、これはフェイクですね」と意識の上で理解していた被験者ですら、目にしたものに影響され続けたんだ。これって「ディープフェイクは巧妙だ」って話よりずっと不気味じゃないか？ だって、フェイクだと知っていることすら、もう自分を守る防壁にならないってことだからね。「見ること」を「信じること」へと変換する脳内の仕組みは、「目にしたものは大抵実際に起きたことだ」という世界で進化してきた。視界に入るもののほとんどが人工的に作られたものかもしれない、なんて環境向けには作られてないんだよ。
（マジでこの世界線、嫌悪感しかなくなってきたんだが）
これをインターネット全体の規模にスケールアップしたらどうなるか？ ああ、あっという間に地獄絵図だよ。2025年半ばまでに、16言語でそれらしいニュースサイトの体裁をとったAI生成の「ニュース」サイトが1,200以上も乱立し、EUが把握した外国からの情報操作の試みのうち27%にAIが関与していた（前年のほぼ3倍だ）。しかもAI生成のミスリーディングな投稿は、主に零細アカウントから発信されているにもかかわらず、不釣り合いなほどバズりまくっていた。こうして、インターネットの「スロップ化（enslopification）」が本格的に始まっていくわけだ。⊙﹏⊙
さて、デッドインターネット理論が「ガチで100%正しかったんじゃね？」と思えてくるまでは、まだ笑い話で済んでたんだ。コロナ禍のころに読んだ研究で、こんな一節があったのを今でも覚えてる――「今年以降、インターネット上のトラフィックの過半数をBotが占めるようになる」。「スロップ・ファーム」（これほどディストピア感ある言葉もそうそうないだろ）の連中は、エンゲージメント稼ぎ用の画像なんてほぼタダで量産できることに気づいたし、レコメンドアルゴリズムは喜んでそれを何百万もの高齢者層に垂れ流している（エビジーザス、愛してるぜ）。
いやマジな話、今じゃ「作家」とか「ミュージシャン」とか「写真家」を名乗る連中の中に、プロンプトの無限ループに収益受取口座をくっつけただけの存在がリアルに転がってるんだぜ。
最悪なのは、人々が騙されていることそのものじゃない。ネット上にカモがいるのは昔からだ。それよりも、みんな自分のフィード上で何が本当かを突き止めること自体を諦めかけていることなんだよ（もう疲れたよパトラッシュ ToT）。ところでHankがある動画でめちゃくちゃいいこと言ってたから、ぜひ見てみてほしい。結構刺さるから：
さて、話を本題に戻そう。「認識論的崩壊（epistemic collapse）」だ。この用語は現在、少なくとも4つの異なる研究コミュニティで飛び交っている。それぞれ微妙に違う意味で使っていて、最初はイラッとしたんだけど、じっくり考えてみるうちに、4つの別々の問題というよりは、1つの連鎖反応（カスケード）の各段階を描写しているんじゃないかと思えてきたんだ。
ML界隈の人間が言っているのは**モデル崩壊（model collapse）**のことだ。以前のモデルの出力で新しいモデルを訓練し、それを何回か繰り返すと、元の分布の裾野（テール）が消え去り、世代を重ねるごとに元のグラウンドトゥルース（正解データ）からどんどん乖離していく。これは数学的にも証明されている。合成データだけで訓練する限り、モデル崩壊は避けられない。エコシステム版はさらに悲惨だ。研究者が155のトピックにわたって27のLLMをテストしたところ、例外なくすべてのモデルが通常のWeb検索よりも認識論的な多様性に欠けており、モデルが大規模になるほど生成される主張の多様性が低下していたんだ。
AI倫理の人たちが言っているのは「検証の過負荷」だ。査読者、ファクトチェッカー、編集者、裁判所、教師――あらゆるレートリミット付きのシステムが、人間的な限界などお構いなしの生成プロセスに必死で食らいつこうとしている。誰も検証しきれないほどの大量の主張、自己増殖する合成コンテンツ、そして確認作業に当たる人間側のただひたすらな……摩耗。
哲学者たちが言っているのは「誤認（misrecognition）」と呼ばれる現象で、小難しく聞こえるけど、個人的にはこれが一番背筋が凍る。そもそもモデルは、自分が生成するコンテンツの中身を知りもしないし、知っていると主張することもない。その出力は単なる統計的分布にすぎない。それなのに、読み手がその出力を「知識としての主張」として受け取ってしまうとき、読み手はモデルの代わりに認識論的な裏付けを肩代わりしていることになる。つまり、本来何の信用もないものに対して、自分自身の信頼性を貸し与えてしまっているんだ。その小さな行為が日々何十億回も繰り返されればどうなるか？ 自分がどれだけの検証済み知識を持っているかを、社会全体が構造的に誤認するようになるんだよ。
そして社会科学者たちが言っているのは、ニュースでもよく取り上げられるやつだ。分断された情報の現実、失われた共通基盤、サイロ内での過激化。普段は「SNSの問題」とか「二極化の問題」として単体で扱われがちだけど、自分に言わせれば、それは水面下で起きているすべての事象の表層的な現れにすぎない。
気づき始めると思うが、この連鎖反応にはある種の順序がある。技術的な崩壊がツールを劣化させる一方で、検証のインフラはクソみたいなスロップで完全に埋没する。これらのシステムは、こんなスループットを処理できるように設計されていない。未検証のコンテンツばかりが増えていくせいで「誤認」が常態化する。そして最終的に、あらゆる集団的意思決定が拠って立つ共有された現実が、ただ……粉々に砕け散るんだ。
ここで、よくある反論としてはこういうものがあるだろう。「誤情報なんて古代からある問題だろ。人類が認識論的にクリーンな環境に住めたことなんて一度もない。だからこそ学術誌や裁判所、編集デスク、査読制度が作られたんじゃないか」と。違うんだ、新しいのは「欺瞞のユニットエコノミクス（単位あたりの経済性）」なんだよ。人類のあらゆる検証機関は、信憑性のありそうな主張を作り出すには、時間であれ専門知識であれ評判であれ印刷機であれ、何かしらのコストがかかるという前提に立っている。生成にはコストがかかるのだから、検証のペースは生成より遅くても許されていた。だが、それはもう通用しない。それっぽい主張を1つでっち上げるコストは今やほぼゼロ円だが、それを検証するコストはこの狂った経済の中で据え置き、下手をすれば上がっているんだから。
あと、ふと思い出したんだけど、こんなパラドックスも定式化されている：合成メディアと本物のメディアが見分けがつかなくなると、個人にとって合理的な行動は、真偽を選別することではなく「あらゆる」デジタル証拠を割り引いて信用しないことになり、その行き着く先は、証拠という概念そのものが完全に機能しなくなる世界だ。このクソみたいな状況の中で、最終的に価値を失うのは*通貨（信頼）*そのものなんだよ。
その裏返しとして存在するのが「嘘つきの配当（liar's dividend）」だ。誰もが精巧なフェイクの存在を知ってしまえば、カメラに決定的な証拠を押さえられた人間は、肩をすくめて「これAIだよ」と言い逃れできるようになる。世の中にスロップが溢れれば溢れるほど、その言い訳の説得力は増していく。最近生成されているAIスロップのテキストや、「〜ではなく、〜なのだ」みたいな言い回しを例に取ってみよう。文法的には正しい英語（日本語）だ。だが、AIスロップをあまりにも見慣れてしまったせいで、人間はその構文を「AI生成コンテンツ」と結びつけて認識するようになる。そして遠からず、誰もその表現を使えなくなる。手書きで書いたとしても「AI使ったんだろ」と思われるからだ。
ああ、しかも人間は、普段からよく使ったり耳にしたり読んだり見たりする言語パターンに似た文章を書くようになる、という事実をまだ考慮に入れてない。つまり時間が経つにつれて、人間側のほうがAIっぽい喋り方になっていくんだよ。（LinkedInの最終形態、マジでこれ）
ここまで来ると、「でもAI Safety（AI安全性）の専門家たちが何とかしてくれるんじゃないの？」と思うかもしれない。まあ、うん、一応ね。多少は。いや、実際は全然。現在出ている最も詳細なガバナンス提案（AI Futures Projectの「Plan A」）は、コンピュートの検証、光ネットワークの盗聴検知、チップのサプライチェーン監査、抑止力としての相互確証コンピュート破壊などについては驚くほど具体的に書かれている。何百ページにも及ぶモデリングだ。で、認識論（epistemics）については？ たった2ページの付録だけ。名誉のために言っておくと、彼らには「正気の盆地（basin of sanity）」というイケてるアイデアがあるにはある。真実を追求するAIツールが社会をより正気にしていく自己強化的な平衡状態のことだ。いくつかの介入策をさらっと示して、はい終わり。社会がどうやってその「盆地」に入るのか、その境界線からの距離をどう測定するのか、あるいは別の盆地から利益を得ているアクターに対してどうやって安定性を保つのかについては、何ひとつ書かれていない。
どうやら「コンピュートを管理してモデルをアライメントしさえすれば、認識論的環境なんて勝手に整うだろう」という前提で動いているらしい。だが研究結果はこう叫んでいる――「んなわけねえだろ、ボケ」と。完璧にアライメントされたモデルであっても共有地を洪水のように埋め尽くす。アライメントが縛るのは「意図」であり、この連鎖反応を動かしているのは意図ではなく「量」だ。ますます合成化していくコーパスで訓練された正直なモデルであっても依然としてドリフト（漂流）するし、検証者は完全な善意で生成されたコンテンツの下でさえ燃え尽きる。統計がどれほど無害であっても、読者は相変わらず統計的出力を知識と勘違いする。アライメントは欺瞞の問題には必須だが、疲弊の問題にはほぼ無力なんだ。要するに、俺たちはこんな状況にまったく追いつけてないんだよ。
さらにここには、なぜ誰もこの話題に深く踏み込まないのかを説明する、より深い構造的な不一致がある。アライメントというのは「成果物（アーティファクト）」の性質だ。つまり、研究機関、安全対策チーム、リリース前にモデルを認証する規制当局といった誰かが所有・管理できる。だが、検証能力というのは「エコシステム」の性質だ。モデル、制度、インセンティブ、思考習慣の間の相互作用の中に存在している。そして人類の社会システムは、単体の成果物に対する責任の所在を特定するのは得意だが、エコシステム全体に対する責任の所在を特定するのは壊滅的に下手くそだ。その結果、扱いやすく所有可能な問題に資金と人材がすべて吸い取られ、本質的なボトルネックである制約要因にはどちらも行き渡らない。
じゃあ、どうすりゃいいんだ？ 正直に言おうか？ マジで何一つわからん（一応アイデアはあるけど、ろくなもんじゃない）。認識論的コモンズのための「5段階の修復戦略」みたいなのをここでぶち上げる気はない。そういう記事じゃないんだ。エコシステムの健全性指標とか、モデル訓練時の多様性の義務化とか、生成に注ぎ込んでいる額のほんの一部でも検証ツールに回すとか、アイデア自体は色々転がってはいる。でも、そのどれかが実際に機能するかどうかなんて誰にもわからない。誰も実験すらしていないんだから。これだけヤバい状況なんだから、誰かしらがやってても良さそうなもんだけどね。
これはチャンスであると同時に、警告でもある。生成と検証のギャップは、クソみたいなスピードで年々広がっていく。この手の仕組みを構築すべき機関は、年を追うごとに信頼性を失い、疲弊を深めている。そして、主張を検証する方法についてすら合意できなくなった社会は、「検証システムを修正すべきだ」という主張の正しさすら検証できない。
より高性能なAIを作る競争には何千人ものプレイヤーが参入しているのに、真実を検証可能な状態に保つための競争にはほとんど誰もいない。そして正直なところ、後者こそが真のボトルネックだと俺は思っている。
まあ、愚痴はこれくらいにしておく。クソ眠いからもう寝るわ。みんなおやすみ。
~ A.