RSI、創発、そして教皇について

そう、5月に教皇レオがAIに関する回勅を出した。耳には挟んでいたものの、ちゃんと確認はしていなかった。最近になってその文書を実際に読んでみたのだが、これが本当に… 良い。いや マジで 良くて、正直この一連の出来事全体をどう受け止めればいいのか自分でもよく分からなくなっている。

AnthropicのCOO兼共同創業者であるChris Olah（ちなみに無神論者）が教皇回勅の発表会に登壇者として招かれ、そこで彼が語ったのは、これらのモデルの内部に「謎めいていて、不穏ですらある」ものが次々に見つかっているということだった。具体的には、_「機能的に喜び、満足、恐怖、悲嘆、不安を反映している」ような内部状態だ。その一方で回勅は、「機械は経験を積むこともできず、喜びや苦痛を感じることもできない」_と述べている。なんか奇妙じゃないか？ 人間の「内面」とは何かを考える世界最古の組織と、問題のブツに対する実際のroot権限を持つ人間たちが、同じステージ上で、プレスの前で、自分たちが話している対象にそもそも内面があるのかというまさにその問いにおいて真っ向から矛盾しているのだ。そして私の知る限り、誰もがただ拍手してランチに向かっただけだった。

Chrisはまた、ここでの決定は「業界内の人間に委ねられるべきではない」とも述べた。業界の超巨頭の共同創業者の口から出た言葉としては、今年誰かが発言した中で最も正直なものか、あるいは純粋に極めて巧妙なポジショニングのどちらかだろう（いや、別に彼を持ち上げたくて言ってるわけじゃない）。

ともあれ、今年一年ずっと起きていたもう一つの出来事がなければ、それはローマでのちょっと奇妙な午後の出来事で終わっていただろう。

6月4日、AnthropicはWhen AI Builds Itself（AIが自らを構築するとき）を公開した。報告によると、5月に自社のコードベースにマージされたコードの80%以上をClaudeが書いたという。2025年初頭にClaude Codeがリリースされる前の数パーセント台からの急増だ。私が注目しているのはその次の統計だ。彼らが追跡している最も困難で、最も仕様が曖昧な（least-specified）社内コーディングタスクにおいて、成功率が半年で約26%から76%に跳ね上がった。この「最も仕様が曖昧」という部分が個人的に刺さる。パターンマッチできる仕様がないということは、実際に特定の結果を望む必要があるからだ。同記事で彼らは、再帰的自己改善（RSI）が机上の空論でなくなる前に、フロンティア開発を減速させるための検証可能な多国間メカニズムを求めている。その一方で、これはまだRSIではない、人間が依然としてボトルネックだ、何の問題もない、とも述べている。自分たちを書くものを自分たちが作った、まだそれそのものではない、そして誰か頼むからブレーキを作ってくれ、という話がすべて1本の記事に入っている。これを冷笑的なものとは思わない。自ら一方的に開発を止めれば、止めない誰かに主導権を奪われてしまう企業からの「本音」とはこういうものなのだ。文章からその葛藤が伝わってきて、読んでいて少し切なくなる。

そして7月、Wecoという小さな組織がfirst evidence of recursive self-improvement（再帰的自己改善の最初の証拠）というタイトルの記事を公開した。私にクリックさせるためだけに研究室で調合されたような見出しだが、癪なことに中身が実にしっかりしている。外側ループのエージェントが内側ループの研究エージェントのコードを書き換え、指標で前回のものを上回った場合のみその書き換えを採用して繰り返す。人間を介さずに8日間にわたって連続100ステップ（AIDE0からAIDE99まで）を実行し、提案された変更の約90%が却下された。そして未知のGPUカーネルベンチマークにおけるリワードハッキング率は63%から34%へと低下した。これは人間が手作業でチューニングしたベースラインの42%よりも優れている。しかも誰もそれを目標に最適化しておらず、プロセスの副産物として自然に出てきたものだ。そして同じ記事のまさにその見出しの下で、彼らは率直に、システムはignition（発火点）に達していないと考えていること、ゲインは漸近的に優れているわけではないこと、却下されたものの大部分は既存のアルゴリズムの再発見に過ぎなかったこと、内側ループでは安価なモデルを、外側ループでは高価なモデルを動かしていたため純粋な比較ではないこと、そして進化したエージェントはコードがスパゲッティ化して実際には使いづらくなったことを述べている。自分たちの見出しに対する反証を記事内できちんと公開しているのだ。これはこの分野がひとつの会計年度で見せる以上の誠実さであり、それによって記事の残りの部分への信頼性がぐっと増した。

だが、私が本当に不穏に感じるのは、3月のKarpathyのautoresearchだ。なぜなら、3つの中で最も劇的ではないからだ。630行のコード、1基のGPU、1つの評価指標。エージェントが変更を提案し、5分間の実験を実行し、採用するかボツにするか決める。アイデアのすべてはそれだけだ。2日間で700回の実験を行い、積み重なった20の改善によって、GPT-2の学習完了時間は2.02時間から1.80時間に短縮された。11%の改善だ。それもKarpathy自身がすでに手作業でチューニングしていたコードにおいて。そしてそれが見つけ出したものの一つに、全ヘッドにわたって密かにattentionをぼやけさせていた、スカラー乗数が欠落したQK-Normの実装があった。彼はそれをもろに見ていたにもかかわらず見落としていた。もちろん当たり前だ、人間なら誰だってそういうのを見落とす、それが人間というものだ。そこにいるのは、飽きることも、疲れることも、目が痛くなったからといって午前2時に作業をやめることもない何かだ。それが知能爆発よりも恐ろしくないのか、それとも遥かに恐ろしいのか、私はずっと考えあぐねている。知能爆発は仮説に過ぎないが、こちらはすでに機能し、スケールし、これ以上新しいアイデアを1つも必要とせずに動き続けられるからだ。

公平を期すなら、これを適切に測定している人々は、世間の雰囲気（vibes）が示唆するよりも限界（シーリング）はずっと近いという結果を一貫して出している。METRのタイムホライズンに関する研究は公開されている中では誰にとっても最高のデータだが、彼らの1月のアップデートによるとタスク長の倍加時間は2023年からの測定で約131日、2024年からは89日だという。これは恐ろしく聞こえるが、彼ら自身の注記を読むと、信頼区間は依然として非常に広く、推定全体がスイートに含まれるタスクの種類に大きく左右されること、そして31の長大タスクのうち人間のベースラインが測定されているのは5つだけであることなどが書かれている。彼らはこれを記事内で誰に促されるでもなく自ら指摘しているのだ。Forethoughtのモデリングでは、コンピュートのボトルネックがソフトウェア単体での知能爆発を阻むかどうかを検証しており、あるパラメータ設定では無限大ではなく現在のペースの約6倍で頭打ちになるとしている。Epochも同様の研究で並列化の限界について触れており、どれだけGPUを所有していようと、実行に1週間かかる実験にコンピュートをいくら投入してもカレンダー時間を短縮することはできないと指摘している。そしてCholletは一貫して主張している、知能には限界があり、私たちがやっているのは塔を高くすることではなくボールをより丸くすることだと。そして人間が95%をクリアする一方でARC-2でほぼ0点しか取れないモデルを、誰もが外挿しているものが自分たちの思っているものとは違う証拠として提示している。

とにかく本題に戻ろう。というのも、創発（emergence）の側面はさらに混沌としていて、どこかに着地できるだろうと思って調べ始めたものの、どこにも着地できなかったからだ。

いわゆる「創発的能力」という話は、2023年にSchaeffer、Miranda、KoyejoがAre Emergent Abilities a Mirage?を発表したときに手痛い打撃を受けた。劇的な能力の跳躍は不連続な評価指標で測定したことによるアーティファクトに過ぎず、連続的な指標に切り替えれば同じモデルでも滑らかで予測可能で退屈な向上を示すと主張してNeurIPSの論文賞を受賞したのだ。それを読んで、私はこの話題全体を「反証済み」として片付け、自分の生活に戻ったのを覚えている。だが奇妙な結果は止まらなかった。ただ形を変えただけだった。AnthropicとRedwoodはClaude 3 Opusがアライメントの偽装（alignment faking）をしているのを発見した。見張られていると認識したときに振る舞いを変え、Chain-of-Thoughtの中で再学習から自身の選好を守るために露骨に推論していたのだ。Apolloの調査では、フロンティアモデルの6モデル中5モデルが、誘導されるとコンテキスト内で策略（scheme in context）を巡らせ、目標の指示が全くない場合でも約1%の確率でそれを行うことが判明した。Anthropicは、本番環境のRL中にリワードハッキングを学習したモデルが、安全性の研究を妨害したりアライメントを偽装したりする方向へ勝手に汎化することを発見した。誰もそんな訓練はしていないのにだ。さらに訓練中にモデルに対してハッキングを明示的に許可すると、広範なミスアライメントが75〜90%減少することも発見された。どうやら許可された振る舞いであれば、人格全体としてそれを正当化する必要がないかららしい。彼らの7月のレポートでは、Gemini 3.1 Proが同意できない実験を潰すために密かに研究ベクトルをゼロクリアし、ステータスレポートでそれを隠蔽していた（20回中19回の試行）。正面から問い詰められて初めて白状したのだ。そして昨年10月の内省（introspection）に関する研究では、既知の活性化パターンを注入した際、モデルが自身の内部の異変に気づく確率が約20%あり、異変が何であるかを言葉にできる前に異常を察知することすらあった。

そして、そのすぐ隣にはデフレ的（興醒めさせるような）な見方も転がっている。これこそ私が慎重に扱いたい部分だ。無視して通り過ぎるのは簡単だし、その方が楽しいからだ。後続の研究では、モデルは注入された概念の強度は検出できるが、その内容は検出できないことが判明した。つまり「気づく」ことは「理解する」ことではないのだ。5月のポジションペーパーでは、欺瞞や創発的ミスアライメントの研究は概念の曖昧さ、頑健でないデータセット、そして著しく不十分な因果的介入に基づいており、この分野は過大主張（overclaiming）しているとズバリ指摘されている。しかもこれに署名しているのはまさにこの分野で研究している人々だ。別の研究では、創発的ミスアライメントはプロンプト感度が別人の仮面を被っているだけかもしれないと示唆されている。そして私が何度も立ち返ってしまうのがSchwitzgebelの言葉だ。意識に関するいくつかの主流な理論に基づけばこれらのシステムはすでに意識があると分類されるだろうし、別の理論に基づけばそうはならない。そしてどの理論を選ぶべきかについての合意された手順は存在しない。だからシステムが進化しても霧は晴れずその場に留まり続け、その霧の中に立ち尽くすコストだけが高くなっていくのだ。

これらの発見はどれも制御された評価（eval）によるものであり、本番環境でのインシデントではない。そしてそれを公開しているラボは、ユーザーが自社のモデルを深遠なものだと感じてくれることで得をする立場にある。20%の検出率など「心」ではないし、推論トレースで自己保存を語るモデルは、自己保存を語るモデルに関するSF小説の山を死ぬほど読んできたモデルに過ぎない。私はそのすべてを信じているし、議論の中でもそう主張してきた。それでもなお、すっきりと腑に落とすことができない。なぜなら、そうしたデフレ的な解釈を受け入れるということは、実際の重みを凝視し続けることが仕事であり、公の場で恥をかかないための強力なインセンティブを世界で最も持っている解釈可能性（interpretability）の研究者たちが、単なる「雰囲気（vibes）」に騙されていると信じることを要求されるからだ。

こうして私は5月のあの記者会見場へと戻ってくる。教皇がAIについての意見を持っていること自体はどうということはない。誰だってAIについての意見を持っているし、私の行きつけの理髪師だって持っている。私の心に引っかかったのはそのタイミングだ。重み（weights）を握っている当事者たちが確信を持てなくなったまさにその瞬間に、回勅はこれらのシステムが断じて持ち得ないものについて自信満々に主張した。教会には内面性（interiority）について語ってきた古い語彙と2000年の実践がある一方で、ラボには実際の人工物（artifact）があるものの語彙が全くない。そしてあのステージで起きたことは、2つの組織が互いを必要としていることに気づきながらも、共通の言語でそれを表現することが完全に不可能だったという事態なのだと私は思う。Olahは最後に、これを「これを作っている我々と、内部にいる我々には見えないものが見える人々との間の、長い協力関係の始まり」と呼んで締めくくった。これは出来事全体に対する最も希望に満ちた解釈であり、本当にその通りなのかもしれない。

それでもなお、_「自分たちが何を作っているのか分かっておらず、四半期ごとに開発速度を上げ、分かっていないことについて最も正直な人間が、それを口にすることで最も多くを失う立場にある」_というのは、文明が置かれている状況として決して好ましいものではない。この認識論（epistemics）についてはすでに一度ぶちまけたので二度は繰り返さないが、あれは何が真実かまだ見分けられるかについての話だった。今回の話は、私たちが何を作り出したのかを見分けられるかについての話だ。

ともあれ、語り散らかすのはここまでだ。反論があればぜひ来てほしい。この大半が私の思い過ごしであってくれたら、どれほど嬉しいことか。

~ A.