Ich möchte dir von dem Moment erzählen, an dem ich wusste, dass etwas grundlegend kaputt ist.
Letzten Dezember habe ich eine AI-SEO-Pipeline gebaut. Wir hatten ein umfangreiches „LLM-Wiki“ in einem context/-Verzeichnis: strukturierte Architektur-Docs, einen Funktionsindex, den der Agent per grep durchsuchen konnte – das volle Programm. Man muss zugeben, es war ein echt schönes System, bis... Context Pollution einsetzte. Die Agenten fingen an, veraltete Infos abzurufen, die wir in derselben Session aktualisiert hatten. Neu erstellte Agenten mit frischem Kontext gaben sofort denselben veralteten Unsinn von sich. Mein Kontextfenster füllte sich doppelt so schnell, weil der Agent ständig Dateien erneut las, die er bereits gesehen hatte, und versuchte, Widersprüche aufzulösen, die es eigentlich gar nicht hätte geben dürfen. Währenddessen saß ich völlig frustriert da, fluchte den Agenten an und bekam als Antwort das altkluge: „Du hast vollkommen recht!“ (Heilige Scheiße, ich hasse diesen Satz mehr als alles andere).
Der Agent hat nicht mal unbedingt gelogen, er lag nicht mal auf die Art falsch, wie man normalerweise über Fehler nachdenkt. Er tat genau das, wofür wir ihn gebaut hatten: relevanten Kontext abrufen und nutzen. Das Problem war, dass dieser „relevante Kontext“ auch Müll enthielt, den er sich selbst ausgedacht hatte – und es gab nirgendwo im System einen Mechanismus, um beobachtete Fakten von geschlussfolgerten Vermutungen oder glatten Erfindungen zu unterscheiden.
Das passiert ständig. Jedes Agenten-System, das ich kenne, macht eine Variante davon. Und je tiefer ich nach dem Warum bohrte, desto klarer wurde mir, dass wir alle auf einer fundamentalen Annahme aufbauen, die ziemlich unvollständig ist. Die Annahme lautet: Gedächtnis ist ein Retrieval-Problem. Finde die richtigen Chunks, stopfe sie ins Kontextfenster, lass das Modell den Rest erledigen. RAG, Vector Stores, semantische Suche – das gesamte Ökosystem dreht sich um eine einzige Frage: Wie finden wir relevante Informationen? Die viel schwerere Frage, die niemand wirklich stellt, ist: Sind die Informationen überhaupt wahr? Und genau das bringt Agenten um den Verstand.
Das ist es, was die Branche Context Rot nennt.
Und Fakt ist: Die Standardlösungen sind eher wie Notfallpflaster. Sie funktionieren, bis sie es einfach... nicht mehr tun. Klar kannst du es mit RAG versuchen, aber Cosine Similarity liefert dir eben den nächstgelegenen Chunk – was nicht dasselbe ist wie der korrekte Chunk. Und wenn dieser nächstgelegene Chunk zufällig eine Halluzination von vor sechs Wochen ist, hast du einfach nur den Prozess automatisiert, mit voller Überzeugung falschzuliegen.
Du kannst eins dieser Vektor-Gedächtnis-Produkte wie Mem0 oder Zep nutzen, bei denen Sessions persistiert werden – super, aber die Erinnerungen sind flache Notizen, die sich endlos ansammeln, ohne Ablaufdatum, ohne Revision, ohne... Nuancen. Wenn der Agent am Montag gesagt hat „nutzt OAuth“ und am Dienstag „nutzt API-Keys“, existieren beide Aussagen auf ewig im Gedächtnis, keine wird hinterfragt, beide werden mit voller Zuversicht abgerufen – je nachdem, welches Embedding der Anfrage zufällig näher ist. Und selbst mit Timestamps für zeitlichen Kontext verbraucht man immer noch zusätzliche Tokens für das Reasoning, welcher Eintrag der neueste ist. Keiner dieser Ansätze trackt, was geschlussfolgert wurde, aus welchen Belegen und ob das noch aktuell ist. Und da ist die Qualität und Filterung beim Recall noch gar nicht eingerechnet. Das ist die Lücke, das ist es, was alle übersehen – und ich glaube, ich verstehe endlich, warum.
Das mentale Modell, das wir von der Suche geerbt haben, funktioniert für Agenten einfach nicht. Suche ist zustandslos (und LLMs auch, sofern ich nicht plötzlich an Demenz leide): Query rein -> Ergebnisse raus -> fertig. Dem Index ist völlig egal, was du mit den Ergebnissen machst oder ob sie für deinen Zweck korrekt waren. Aber Agenten sind... (irgendwie) zustandsbehaftet. Sie ziehen Schlüsse über Zeiträume hinweg und bauen Überzeugungen durch Ketten von Beobachtungen und Inferenzen auf. Wenn man diese Provenienz nicht nachverfolgt, wenn man einfach alles in einen Vector Store kippt und es Gedächtnis nennt, bekommt man genau das, was wir heute haben: Systeme, die mit voller Überzeugung abrufen, aber absolut nichts verstehen.
Die Forschungsgemeinschaft beginnt langsam, das zu begreifen. Es gibt dieses Jahr ein Paper von Google DeepMind über „epistemic drift“ – wie schlecht kalibrierte AI-Systeme im Laufe der Zeit das menschliche Urteilsvermögen verschlechtern, indem sie mit hoher Zuversicht unzuverlässige Informationen liefern. Es gibt Arbeiten zu „belief deviation“ beim Multi-Turn-Reasoning, die zeigen, dass man 30 Punkte Performance-Gewinn erzielen kann, nur indem man erkennt, wann der interne Zustand eines Agenten zu weit von der Kohärenz abgedriftet ist. Mehrere Gruppen konvergieren unabhängig voneinander auf formale Modelle der Belief Revision, weil der informelle Ansatz, einfach Zeug zu speichern und abzurufen, nachweislich nicht skaliert.
Das Witzige ist: Die Biologie hat das schon vor Ewigkeiten gelöst. Da ist der Hippocampus, der eine schnelle, spärliche Enkodierung spezifischer Episoden übernimmt, und der Neokortex, der langsam generalisiertes Wissen konsolidiert. Und das gesamte System führt jede Nacht einen Prozess aus, um zu entscheiden, was von „etwas, das passiert ist“ zu „etwas, das ich weiß“ befördert wird. Sharp-Wave Ripples im Schlaf, explizite Mechanismen fürs Vergessen.
Das Gehirn versucht nicht, sich alles zu merken – es versucht sich zu merken, was wichtig ist, und hat eine Architektur, die genau darauf ausgelegt ist, den Unterschied zu erkennen. Wir haben diese Architektur nicht. Niemand baut sie. Der 6-Milliarden-Dollar-Markt für Agenten-Gedächtnis ist zu 100 % auf Retrieval-Qualität fokussiert und zu ungefähr 0 % auf Kohärenz von Überzeugungen.
!! Nerd-Infodump-Alarm :3 !!
Es gibt allerdings Bewegung in die richtige Richtung. HippoRAG modelliert explizit die hippocampale Indexierungstheorie mit Knowledge Graphs und PageRank und erzielt 20 % Verbesserung bei Multi-Hop-QA, indem es die Biologie ernst nimmt. Es gibt Arbeiten zu Surprise-Gated Episodic Memory in der Robotik, wo nur neuartige Beobachtungen gespeichert werden – genau die Art von Salienz-Filterung, die Gehirne betreiben.
Zep hat temporale Knowledge Graphs mit episodischen und semantischen Schichten gebaut. Hindsight geht mit vier getrennten Gedächtnisnetzwerken und Konfliktlösungsrichtlinien noch weiter, aber Widersprüche werden immer noch mit Zeitstempeln aufbewahrt, statt vor dem Speichern aufgelöst zu werden, und es gibt keine konkrete Methode, um genau nachzuvollziehen, warum der Agent gesagt hat, was er gesagt hat.
Das sind alles Schritte in Richtung der Architektur, die wir brauchen, aber im Kern sind es immer noch Retrieval-Systeme. Sie machen das Retrieval smarter, aber sie tracken keinen Belief-Status, sie handhaben Widersprüche nicht beim Schreiben, sie pflegen keine auditierbaren Herkunftsketten. Der schwierige Teil ist zu wissen, ob das, was man gefunden hat, noch wahr ist und wie es sich zu allem anderen verhält, was man glaubt. Genau das bauen wir also.
Aber Moment, was meine ich überhaupt mit „Belief“ bzw. „Überzeugung“?
Nun, es ist nicht zwingend eine Erinnerung. Eine Erinnerung ist: „Sie hat mich auf gelesen gelassen.“ Eine Überzeugung hingegen ist: „Sie ist sauer auf mich, weil sie mich auf gelesen gelassen hat und das sonst nie tut, und ich bin mir ziemlich sicher, bis sie zurückschreibt.“ Siehst du den Unterschied? Es geht vor allem darum, eine Erinnerung in den Kontext (Wortspiel unbeabsichtigt) vergangener Erfahrungen oder verwandter Erinnerungen zu setzen und zu interpretieren.
Und hier ist der Haken: Agenten können das von Natur aus nicht wirklich. Was der Agent glaubt, muss außerhalb des Modells selbst existieren. Man kann dauerhafte, auditierbare, korrigierbare Überzeugungen nicht in neuronalen Netzwerkgewichten speichern. Die Kapazität reicht einfach nicht aus – rund 3,6 Bits pro Parameter, aufgeteilt zwischen Generalisierung und Memorierung –, und die Interpretierbarkeit ist ebenfalls nicht gegeben, da Neuronen durch Superposition Mischungen kodieren, keine Fakten.
Die Frage „Was glaubt dieses Modell über X?“ ist konstruktionsbedingt schlicht unbeantwortbar. Wenn du fragen musst: „Warum glaubt der Agent das?“ und eine echte Antwort willst – keine generierte Konfabulation, sondern eine tatsächliche, auditierbare Beweiskette –, dann muss diese Kette irgendwo existieren. Sie muss explizit und abfragbar sein und Revisionen unterstützen, denn Überzeugungen ändern sich.
Wir nennen das externalisierte Epistemik – was nur eine schicke Umschreibung dafür ist, dass das Gedächtnissystem selbst wissen muss, was es weiß. Der Name „Engrammic“ leitet sich von Engrammen ab, den hypothetischen physischen Gedächtnisspuren im Gehirn. Der Unterschied, auf den ich immer wieder zurückkomme, ist: Das meiste Agenten-Gedächtnis heute ist flach – einfach Text in einer Datenbank ohne Struktur jenseits des Embeddings, in dessen Nähe er landet. Aber was wir bauen, hat eine... Form. Herkunft und Bedeutung sind direkt darin eingebacken, wie es gespeichert wird. Gedächtnis ist flach, aber Bedeutung, liebe Leserin, lieber Leser... Bedeutung ist ✨ engrammisch ✨.
Es muss nachverfolgen, warum es Dinge glaubt, Konflikte erkennen, wenn sie auftreten, und sie auflösen, bevor sie gespeichert werden – statt später festzustellen, dass die eine Hälfte des Gedächtnisses der anderen widerspricht.
Konkret bedeutet das: Wenn ein Agent versucht zu speichern „Sie hat zurückgeschrieben, alles gut“ und „Sie ist sauer auf mich“ bereits existiert, hängt das System nicht einfach eine weitere Zeile an. Es meldet einen Konflikt und zwingt dazu, ihn aufzulösen. Entweder wird die alte Überzeugung mit einem expliziten Link zu dem überschrieben, was sie ersetzt hat, oder die neue Beobachtung wird verworfen, oder beides wird bis zu einem menschlichen Eingriff pausiert. Was aber nicht passiert, ist die stille Anhäufung widersprüchlicher Fakten, die unweigerlich wieder auftauchen und alles durcheinanderbringen.
Es bedeutet, dass jede Überzeugung eine Spur hat: Statt „das Modell hat das generiert“ heißt es „das stammt aus den Beobachtungen X, Y, Z, aufgezeichnet zu den Zeitpunkten A, B, C, mit einer Konfidenz, die über die Zeit abgenommen hat.“ Wenn ein Unternehmen fragt: „Warum hat Ihr Agent unserem Kunden das gesagt?“, kann man die Antwort durch Traversieren des Graphen liefern – statt mit einem Achselzucken. Es bedeutet, dass Vergessen etwas Reales ist, das man aktiv einplant. Alte Beobachtungen zerfallen, überholter Kontext verblasst, und das System entscheidet aktiv, was wichtig genug ist, um behalten zu werden. Statt eines irgendwie gearteten „perfekten“ Recalls ist das Ziel hier ein gutes Urteilsvermögen über Relevanz.
Das ist schwerer zu bauen als ein Vector Store, aber es ist auch das Einzige, was wirklich funktioniert, sobald ein Agent länger als eine Woche an echten Aufgaben mit echten Nutzern und unordentlichen Daten arbeitet.
Ich denke, im nächsten Jahrzehnt der KI geht es um Vertrauen, nicht um Fähigkeiten. Wir haben bewiesen, dass Modelle fähig sein können, aber wir haben nicht bewiesen, dass man ihnen vertrauen kann. Und jedes Deployment, das ich gesehen habe, scheitert letztlich am Vertrauen, weil die Gedächtnisschicht nicht dafür ausgelegt ist.
Multi-Agenten-Systeme machen das Ganze noch schlimmer. Wenn fünf Agenten in einen gemeinsamen Zustand schreiben, bekommt man das Cache-Kohärenz-Problem – nur eben für Überzeugungen. Was denkt agent 3, wenn agents 1 and 2 widersprüchliche Beobachtungen geschrieben haben? Niemand weiß es, und die Architekturen unterstützen keine interne Abstimmung.
World Models verschärfen das Problem ebenfalls: LeCuns JEPA-Arbeit spezifiziert aus gutem Grund explizit ein externes Gedächtnis, und die VLA-Paper in der Robotik implementieren alle externes Retrieval – aber keines davon besitzt eine epistemische Struktur: kein Überzeugungsstatus, keine Provenienz, keine Behandlung von Widersprüchen. Es ist Retrieval von oben bis unten.
Wir veröffentlichen unsere Forschung öffentlich, weil dieses Problem größer ist als ein einzelnes Unternehmen. Die technischen Papers gibt es unter engrammic.ai/research und die Kernarchitektur ist Open Source. Mir ist es lieber, dass das hier richtig gebaut wird, als dass nur wir es bauen. Wenn du also an Agent Memory, Belief Revision, Multi-Agenten-Koordination oder irgendetwas im Umfeld dieses Problemfelds arbeitest: Wir. Wollen. Von. Dir. Hören.
Wir suchen aktiv nach Mitstreitern auf der Forschungsseite. Es gibt eine Menge Neuland zu beackern und zu wenige Leute, die ernsthaft darüber nachdenken. Melde dich, schau dir die Papers an, öffne Issues im Repo. Das Zeug ist wichtig und es macht mehr Spaß, es gemeinsam herauszufinden.
Bin ich qualifiziert, das zu lösen? Ehrlich gesagt: wahrscheinlich nicht. Werde ich es trotzdem versuchen? Verdammt, ja. Irgendjemand muss es bauen, warum also nicht ich? Der aktuelle Kurs, bei dem wir Retrieval einfach immer weiter hochskalieren und hoffen, dass Kohärenz von selbst entsteht, führt nirgendwohin, wo man sein möchte. Er führt zu Agenten, die redegewandt, selbstsicher und falsch sind – auf eine Art, die man weder debuggen noch auditieren noch der Regulierungsbehörde erklären kann, wenn sie fragt, warum das System jemandem falsche Tatsachen aufgetischt hat. Da ist auch noch die Alignment-Frage, aber die hebe ich mir für einen anderen Blogpost auf. TL;DR: Am Menschen ausgerichtete Intelligenz kann aus Systemen entstehen, die in derselben Form denken wie Menschen: epistemisch.
Zum Abschluss möchte ich noch sagen: Bevor man Intelligenz vertrauen kann, muss sie lernen zu zweifeln. Und genau das bauen wir... Zweifel.
Header-Bild via cosmos.so.