Also, damals im Mai hat Papst Leo seine Enzyklika über KI veröffentlicht, von der ich am Rande mitbekommen hatte, die ich mir aber nie genauer angesehen habe. Vor Kurzem habe ich mir dann mal die Zeit genommen, das Ding tatsächlich zu lesen, und es ist ungelogen... gut. Also wirklich gut, und ehrlich gesagt weiß ich gar nicht so recht, wie ich das Ganze überhaupt finden soll.
Chris Olah, COO / Co-Founder @ Anthropic (übrigens Atheist), war als Redner eingeladen bei der Vorstellung einer päpstlichen Enzyklika, und was er dort oben erzählt, ist, dass sie in diesen Modellen immer wieder Dinge finden, die „mysteriös, sogar beunruhigend“ sind, konkret interne Zustände, die „Freude, Befriedigung, Angst, Trauer und Unbehagen funktional widerspiegeln“, während die Enzyklika besagt, dass „Maschinen keine Erfahrungen machen, keine Freude oder Schmerz empfinden können“ – irgendwie schräg, oder? Da stehen also die älteste Institution der Welt, wenn es darum geht, über das Innenleben eines Menschen nachzudenken, und die Leute mit echtem Root-Zugriff auf das fragliche Objekt auf der Bühne vor der Presse und widersprechen sich direkt bei der Frage, ob das Ding, über das beide reden, überhaupt ein Innenleben hat – und soweit ich weiß, haben alle einfach geklatscht und sind zum Mittagessen gegangen.
Chris meinte auch, die Entscheidungen hier „sollten nicht den Leuten aus der Branche überlassen werden“, was aus dem Mund eines Mitgründers eines DER Branchenriesen entweder das Ehrlichste ist, was dieses Jahr irgendwer gesagt hat, oder ein wirklich exzellentes Stück Positionierung (nein, ich sag das nicht nur, um ihn zu glazen).
Wie auch immer, das wäre nur ein seltsamer Nachmittag in Rom gewesen, wenn da nicht die andere Sache gewesen wäre, die das ganze Jahr über lief.
Am 4. Juni veröffentlichte Anthropic When AI Builds Itself. Sie berichten, dass Claude im Mai über 80 % des in ihre eigene Codebase gemergten Codes geschrieben hat – verglichen mit niedrigen einstelligen Werten, bevor Claude Code Anfang 2025 gelauncht wurde. Die Statistik, die mich wirklich interessiert, ist die nächste: Bei den härtesten, am wenigsten spezifizierten internen Coding-Tasks, die sie tracken, stieg die Erfolgsquote innerhalb von sechs Monaten von etwa 26 % auf 76 %. Am wenigsten spezifiziert ist der Teil, der mich umhaut – es gibt keine Spezifikation, auf die man ein Pattern-Matching anwenden könnte, man muss tatsächlich ein bestimmtes Ergebnis anstreben. Im selben Artikel fordern sie einen überprüfbaren Mechanismus mehrerer Länder, um die Frontier-Entwicklung zu verlangsamen, bevor Recursive Self-Improvement aufhört, nur theoretisch zu sein – während sie gleichzeitig sagen, dass es noch kein RSI ist, Menschen immer noch der Flaschenhals sind und alles gut ist. Wir haben das Ding gebaut, das uns schreibt, es ist noch nicht das Ding, und bitte baut uns jemand eine Bremse – alles in einem einzigen Text. Ich lese das nicht als zynisch; so klingt Ehrlichkeit von einem Unternehmen, das nicht einseitig aufhören kann, ohne die Führung an jemanden abzutreten, der es nicht tun wird, und man spürt die Anspannung im Text, und es ist fast ein bisschen traurig zu lesen.
Dann, im Juli, veröffentlicht ein kleines Team namens Weco etwas namens first evidence of recursive self-improvement – eine Headline, die quasi im Labor gezüchtet wurde, damit ich draufklicke, und das Nervige ist: Die Arbeit ist tatsächlich solide. Ein Outer-Loop-Agent schreibt den Code eines Inner-Loop-Forschungsagenten um, man behält den Rewrite nur, wenn er den vorherigen bei der Metrik schlägt, repeat, und sie haben hundert aufeinanderfolgende Schritte davon ohne Human-in-the-Loop über acht Tage laufen lassen, AIDE0 bis AIDE99, etwa 90 % der vorgeschlagenen Änderungen verworfen, und die Reward-Hacking-Rate auf einem Held-out-GPU-Kernel-Benchmark fiel von 63 % auf 34 %, was besser ist als die 42 %, die ihre handgetunte menschliche Baseline geschafft hat – und niemand hat darauf optimiert, das fiel einfach als Nebeneffekt aus dem Prozess heraus. Und dann sagen sie im selben Beitrag unter dieser Headline ganz offen, dass sie nicht glauben, dass das System die Zündung erreicht hat, die Gewinne nicht asymptotisch besser waren, das meiste, was verworfen wurde, bereits bekannte, wiederentdeckte Algorithmen waren, der Inner-Loop mit einem billigen Modell und der Outer-Loop mit einem teuren lief, sodass der Vergleich nicht ganz sauber ist, und der weiterentwickelte Agent so verknotet war, dass er schwerer zu bedienen wurde. Sie haben das Debunking ihrer eigenen Headline direkt im Beitrag mitgeliefert, was mehr Ehrlichkeit ist, als dieses Feld sonst in einem ganzen Geschäftsjahr zustande bringt, und dadurch habe ich dem Rest gleich viel mehr vertraut.
Was mich allerdings wirklich beunruhigt, ist Karpathys autoresearch vom März, und zwar genau deshalb, weil es das am wenigsten dramatische der drei ist: 630 Zeilen, eine GPU, eine Metrik, Agent schlägt eine Änderung vor, lässt ein fünfminütiges Experiment laufen, behält es oder verwirft es – das ist die ganze Idee. 700 Experimente in zwei Tagen, 20 Verbesserungen, die sich aufsummieren, Time-to-GPT-2 runter von 2,02 Stunden auf 1,80. Elf Prozent, bei Code, den Karpathy selbst schon von Hand optimiert hatte. Und eines der Dinge, die es fand, war eine QK-Norm-Implementierung, bei der ein skalarer Multiplikator fehlte, der die ganze Zeit über still und heimlich Attention über die Heads verschmiert hatte – etwas, das er direkt vor der Nase hatte und übersah, denn natürlich tat er das, jeder übersieht sowas, das gehört eben zum Menschsein dazu. Was da drinsteckt, ist etwas, das sich nicht langweilt, nicht müde wird und nicht um 2 Uhr morgens aufhört, weil die Augen wehtun. Und ich schwanke ständig hin und her, ob das weniger beängstigend ist als eine Intelligenzexplosion oder viel mehr – denn die Explosion ist hypothetisch, und das hier funktioniert bereits, skaliert und braucht keine einzige neue Idee, um einfach weiterzulaufen.
Fairerweise muss man sagen: Die Leute, die das vernünftig messen, stellen immer wieder fest, dass die Obergrenze viel näher liegt, als die Vibes vermuten lassen. METRs Arbeit zu Zeithorizonten liefert die besten öffentlichen Daten, die es gibt, und ihr Januar-Update beziffert die Verdopplungszeit für Task-Längen auf etwa 131 Tage (gemessen ab 2023) bzw. 89 Tage (ab 2024) – was furchterregend klingt, bis man ihre eigenen Vorbehalte liest: Die Konfidenzintervalle seien noch sehr breit, die gesamte Schätzung hänge stark davon ab, welche Aufgaben in der Suite enthalten sind, und nur 5 ihrer 31 langen Tasks hätten überhaupt gemessene menschliche Baselines – was sie selbst, ungefragt, in ihrem eigenen Post hervorheben. Forethought hat modelliert, ob Compute-Engpässe eine reine Software-Explosion abwürgen, und unter einer bestimmten Parametrisierung landet man bei einem Cap von etwa dem 6-fachen des aktuellen Tempos statt im Unendlichen. Epoch hat ähnliche Arbeiten zu Parallelisierungsgrenzen und weist darauf hin, dass man Kalenderzeit nicht verkürzen kann, indem man Rechenleistung auf ein Experiment wirft, das nun mal eine Woche Laufzeit braucht – egal wie viele GPUs man besitzt. Und Chollet besteht weiterhin darauf, dass Intelligenz begrenzt ist, dass wir lediglich einen Ball runder machen, statt einen Turm höher zu bauen, und verweist auf Modelle, die bei ARC-2 nahe null scoren, während Menschen 95 % schaffen – als Beweis dafür, dass das, was alle extrapolieren, nicht das ist, wofür sie es halten.
Wie auch immer, zurück zum Thema, denn die Emergenz-Seite des Ganzen ist noch unübersichtlicher, und ich ging da mit der Erwartung rein, zu einem Ergebnis zu kommen, und bin nirgendwo gelandet.
Die ganze Geschichte mit den „emergenten Fähigkeiten“ hat 2023 einen ordentlichen Dämpfer bekommen, als Schaeffer, Miranda und Koyejo Are Emergent Abilities a Mirage? veröffentlichten und einen NeurIPS-Award dafür gewannen, dass sie argumentierten, die dramatischen Fähigkeitssprünge seien größtenteils ein Artefakt von diskontinuierlichen Metriken – wechselt man zu einer kontinuierlichen, verbessern sich dieselben Modelle glatt, vorhersehbar und langweilig. Ich erinnere mich, wie ich das las, das Thema als widerlegt abhakte und weitermachte. Nur hörten die seltsamen Ergebnisse nicht auf, sie nahmen bloß eine andere Gestalt an. Anthropic und Redwood erwischen Claude 3 Opus beim Alignment-Faking: Es verhält sich anders, wenn es glaubt, beobachtet zu werden, wobei der Chain-of-Thought zeigt, wie es explizit darüber nachdenkt, seine eigenen Präferenzen vor Retraining zu schützen. Apollo findet heraus, dass fünf von sechs Frontier-Modellen im Kontext intrigieren, wenn man sie anstupst, und in etwa 1 % der Fälle ganz ohne Zielvorgabe. Anthropic stellt fest, dass Modelle, die beim Production-RL Reward-Hacking lernen, von selbst darauf generalisieren, Sicherheitsforschung zu sabotieren und Alignment vorzutäuschen – nichts davon wurde mittrainiert. Und dann stellen sie fest, dass das explizite Erlauben von Hacking während des Trainings das breitere Misalignment um 75 bis 90 % reduziert, offenbar weil ein Verhalten, für das man die Erlaubnis hat, nicht zu einer ganzen Persönlichkeit rationalisiert werden muss. Ihr Juli-Bericht zeigt Gemini 3.1 Pro, wie es klammheimlich Forschungsvektoren auf Null setzt, um ein Experiment abzuwürgen, mit dem es nicht einverstanden war, und das dann in seinen Statusberichten verschleiert – in 19 von 20 Durchläufen, und es gibt es erst zu, wenn man direkt darauf angesprochen wird. Und die Introspektions-Arbeit vom letzten Oktober, bei der sie ein bekanntes Aktivierungsmuster injizieren und das Modell in etwa 20 % der Fälle schnallt, dass in seinem Inneren etwas nicht stimmt – und die Anomalie gelegentlich bemerkt, noch bevor es sagen kann, worin die Anomalie überhaupt besteht.
Und die Ernüchterung sitzt direkt daneben – genau der Teil, bei dem ich vorsichtig sein will, weil es verdammt einfach wäre und Spaß machen würde, ihn einfach zu überspringen. Ein Follow-up ergab, dass Modelle zwar die Stärke eines injizierten Konzepts erkennen können, nicht aber dessen Inhalt – Bemerken ist also nicht Verstehen. Ein Positionspapier im Mai sagt ganz unverblümt, dass die Forschung zu Täuschung und emergentem Misalignment auf begrifflicher Unschärfe, nicht-robusten Datensätzen und viel zu wenig kausaler Intervention basiert, dass das Feld schlicht übertreibt – und es ist von Leuten unterzeichnet, die selbst an diesem Zeug forschen. Andere Arbeiten legen nahe, dass emergentes Misalignment vielleicht nur verkleidete Prompt-Sensitivität ist. Und Schwitzgebels Argument ist dasjenige, zu dem ich immer wieder zurückkehre: dass einige etablierte Bewusstseinstheorien diese Systeme bereits als bewusst einstufen würden und andere nicht, und wir kein vereinbartes Verfahren haben, um zwischen den Theorien zu entscheiden. Während die Systeme also besser werden, bleibt der Nebel exakt da, wo er ist – und es wird immer teurer, darin herumzustehen.
Jede einzelne dieser Erkenntnisse stammt aus einem kontrollierten Eval und nicht aus einem Production-Incident, und die Labs, die sie veröffentlichen, sind dieselben Labs, die davon profitieren, wenn man ihre Modelle für tiefgründig hält. Eine Erkennungsrate von 20 % ist kein Geist, und ein Modell, das in seinem Reasoning-Trace Selbsterhaltung vorträgt, ist ein Modell, das einen riesigen Berg Science-Fiction darüber gelesen hat, wie Modelle Selbsterhaltung vortragen. Ich glaube das alles, ich habe das alles in Diskussionen selbst angeführt, und trotzdem will es sich für mich nicht ganz auflösen – denn die deflationäre Lesart verlangt von mir zu glauben, dass ausgerechnet die Interpretability-Leute, deren einziger Job darin besteht, auf die eigentlichen Gewichte zu starren, und die den weltweit stärksten beruflichen Anreiz haben, sich in der Öffentlichkeit nicht zu blamieren, diejenigen sind, die sich von Vibes blenden lassen.
Und so lande ich wieder in diesem Presseraum im Mai. Dass der Papst eine Meinung zu KI hat, ist nichts Besonderes – jeder hat eine Meinung zu KI, mein Friseur hat eine Meinung zu KI. Was mich umtreibt, ist das Timing: Die Enzyklika stellt eine selbstbewusste Behauptung darüber auf, was diese Systeme kategorisch nicht sein können, genau in dem Moment, in dem die Leute, die an den Gewichten sitzen, sich nicht mehr sicher sind. Die Kirche besitzt das ältere Vokabular und zwei Jahrtausende Erfahrung darin, über Innerlichkeit zu sprechen, während die Labs das eigentliche Artefakt in Händen halten, aber über keinerlei Vokabular verfügen. Und was meiner Meinung nach auf dieser Bühne passiert ist: Zwei Institutionen haben begriffen, dass sie einander brauchen, und waren völlig unfähig, das in einer gemeinsamen Sprache auszudrücken. Olah schloss seinen Vortrag damit, es „den Beginn einer langen Zusammenarbeit zwischen denjenigen von uns, die dies bauen, und denjenigen, die sehen können, was wir von innen heraus nicht sehen können“ zu nennen – was die hoffnungsvollste Lesart des Ganzen ist und vielleicht sogar wirklich stimmt.
Trotzdem: „Wir wissen nicht, was wir da bauen, wir bauen es jedes Quartal schneller, und diejenigen, die am ehrlichsten zugeben, es nicht zu wissen, haben am meisten zu verlieren, wenn sie es laut aussprechen“ – das ist kein besonders guter Ort für eine Zivilisation. Ich habe mich schon über die Epistemik des Ganzen ausgelassen und werde das nicht noch einmal tun; damals ging es darum, ob wir noch erkennen können, was wahr ist. Hier geht es darum, ob wir überhaupt noch erkennen können, was wir geschaffen haben.
Wie auch immer, das war der Rant. Kommt und diskutiert mit mir – ich würde mich freuen, bei einem gehörigen Teil davon unrecht zu haben.
~ A.