- KI
- Modelle
- Forschung
Das Plateau der Transformer-Modelle: Das Zeitalter von „Größer ist besser“ geht zu Ende
Jahrelang warnten Experten, dass reines Skalieren in die Sackgasse führt. Diese Debatte ist praktisch entschieden – was kommt danach?
Aus dem Englischen übersetzt.
Viele vernünftige Expertenstimmen haben jahrelang argumentiert, dass allein die Vergrößerung der Modelle in eine Sackgasse führt. Diese Debatte ist praktisch entschieden. Es ist längst nicht mehr kontrovers zu sagen: Die Transformer-Architektur – der Motor des Booms der generativen KI – und das unermüdliche Streben nach immer mehr Parametern stoßen an eine Wand. Sie haben uns wundersame Fähigkeiten gebracht (und werden in den kommenden Jahren vermutlich noch mehr bringen). Aber sie bringen uns nicht entscheidend näher an eine KI, die die physische Welt wirklich versteht oder darüber schlussfolgert. Wir haben die Erträge der „Next-Token-Prediction“ im großen Maßstab fast ausgereizt.
Nun, da sich der Staub des ersten LLM-Goldrauschs legt, findet in den Forschungslaboren eine leise Revolution statt. Weg von roher Skalierung, hin zu Eleganz, Effizienz und architektonischer Neuheit. Wer verstehen will, wohin sich KI nach den GPTs entwickelt, muss über den Transformer hinausblicken. Hier ein genauer Blick auf die Architekturen, die den Status quo ersetzen – oder grundlegend ergänzen – wollen.
Der doppelte Engpass: quadratische Kosten und der monolithische Irrtum
Um zu verstehen, warum die Branche über den Transformer hinausschaut, müssen wir zwei verschiedene Leiden diagnostizieren: ein mathematisches und ein strukturelles.
- Die mathematische Wand: die quadratische Falle ($O(N^2)$)
Die Achillesferse des Transformers bleibt sein Attention-Mechanismus. Attention erlaubt es einem Modell, jedes Wort eines Satzes gleichzeitig zu betrachten, um Kontext zu finden. Das hat jedoch einen enormen Preis.
Die Kosten des Kontexts: Verdoppeln Sie die Länge des Eingabetexts (das Kontextfenster), verdoppeln sich die Rechenkosten nicht – sie vervierfachen sich.
Die Grenze: „Unendlicher Kontext“ ist damit theoretisch unmöglich und für Standard-Transformer praktisch ruinös. Wir verbrennen exponentiell viel Energie für linearen Zuwachs beim Erinnerungsvermögen.
- Die strukturelle Wand: die monolithische Sackgasse
Das größere Problem ist vielleicht die Annahme, eine einzige, homogene Architektur solle jede kognitive Aufgabe lösen.
Der Vergleich mit dem Gehirn: Das menschliche Gehirn – unser einziger Machbarkeitsbeweis für allgemeine Intelligenz – ist kein einheitlicher Block identischer Neuronen. Es ist ein fein orchestriertes System spezialisierter Module. Der Hippocampus kümmert sich um das Gedächtnis, der visuelle Kortex um das Sehen, der präfrontale Kortex um das Schlussfolgern.
Die orchestrierte Zukunft: Das heutige Paradigma „Ein riesiges Modell“ ist ineffizient. Für ein kniffliges Programmierproblem nutzen wir dieselben schweren Gewichte wie für ein simples „Hallo“.Der Wandel: Wir bewegen uns hin zu orchestrierten Multi-Modell-Systemen. Die Zukunft gehört Architekturen, in denen ein zentraler „Router“ Aufgaben an spezialisierte Teilmodelle verteilt (teils mit völlig anderer Architektur). Das spiegelt die Effizienz der Biologie: Schnelle, lineare, „reflexhafte“ Modelle verarbeiten große Datenmengen, schwere, „reflektierende“ Modelle springen nur an, wenn tiefes Schlussfolgern gefragt ist.
Die Branche steuert deshalb auf Architekturen zu, die beides bieten: lineare Komplexität ($O(N)$) für die Datenverarbeitung und modulare Anpassungsfähigkeit für komplexes Schlussfolgern.
Die Kandidaten für den neuen Kortex: spezialisierte Module
Wenn die Zukunft der KI das biologische Gehirn nachahmt, hören wir auf, von einer einzigen Architektur alles zu verlangen. Stattdessen sehen wir den Weg zu KI auf Systemebene: Ein zentraler Orchestrator leitet Aufgaben an spezialisierte Module weiter.
Hier sind die führenden Architekturen, die sich als die „Organe“ dieses neuen digitalen Gehirns bewerben.
1. Mamba und State Space Models (SSMs)
Die Rolle: der Hippocampus (unendlicher Kontext und Gedächtnis)
In einem orchestrierten System brauchen Sie ein Modul, das riesige Datenströme aufnehmen kann – ganze Bücher, Codebasen oder Videoprotokolle –, ohne zu ersticken. Standard-Transformer scheitern hier an den quadratischen Kosten. Mamba ist der ideale Kandidat für die Langzeitgedächtnis- und Abrufschicht des Systems.
Der Mechanismus: Mit Selective State Spaces komprimiert Mamba den Kontext in einen Zustand fester Größe und bietet so lineare Komplexität ($O(N)$).
Der Gewinn: In einem Multi-Modell-Setup übernähme Mamba die „Schwerstarbeit“, 500 Seiten Dokumentation zu lesen. Es filtert das Rauschen und gibt nur den relevanten „Zustand“ oder die wichtigsten Erkenntnisse an ein teureres Reasoning-Modell weiter. So erhält das System ein nahezu unbegrenztes Gedächtnis ohne unbegrenzte Rechenkosten.
2. JEPA (Joint-Embedding Predictive Architecture)
Die Rolle: der präfrontale Kortex (Schlussfolgern und Planen)
Yann LeCuns JEPA steht für den Wechsel von „halluzinierter Wahrscheinlichkeit“ zu „Verständnis der Realität“. In unserem modularen Gehirn ist es die Exekutivfunktion. Während Mamba Rohdaten verarbeitet, übernimmt JEPA die abstrakte Planung.
Der Mechanismus: Transformer sagen das nächste Token (Wort/Pixel) voraus. JEPA sagt die nächste abstrakte Repräsentation (Konzept/Zustand) voraus. Es baut ein internes „Weltmodell“ auf, um Ergebnisse zu simulieren, bevor es handelt.
Der Gewinn: JEPA würden Sie nicht für die Rechtschreibprüfung verschwenden. Sie leiten ihm Aufgaben zu, die Logik, Physiksimulation oder hierarchische Planung erfordern. Es ist der „Denker“ der Architektur, losgelöst vom unordentlichen Rauschen der Rohdaten und ganz auf Ursache und Wirkung konzentriert.
3. Liquid Neural Networks (LNNs)
Die Rolle: das Kleinhirn (Anpassung in Echtzeit)
Statische Modelle sind spröde; sie versagen, wenn sich die Umgebung unerwartet ändert. Die Liquid Neural Networks des MIT bringen „Plastizität“ in den Stack. LNNs bilden die adaptive Steuerungsschicht, gerade für die Interaktion mit der physischen Welt oder mit dynamischen Datenströmen.
Der Mechanismus: Inspiriert vom Fadenwurm C. elegans nutzen LNNs Differentialgleichungen, mit denen sich Parameter während der Inferenz verändern. Sie führen nicht nur ein festes Programm aus, sondern passen sich dem Eingabestrom in Echtzeit an.
Der Gewinn: In einem orchestrierten System (etwa einem Roboter oder einem Live-Trading-Bot) kümmert sich das LNN um die unmittelbaren, schwankenden Variablen. Während das größere Gehirn die Route plant, hält das LNN das „Gleichgewicht“ und reagiert auf plötzliche Hindernisse – äußerst effizient direkt am Edge.
4. RWKV (Receptance Weighted Key Value)
Die Rolle: das effiziente Rückgrat (die neuronale Autobahn)
Wir brauchen ein Arbeitstier – ein Modell, das diese einzelnen Teile verbindet, so komfortabel wie ein Transformer und so effizient wie ein RNN. RWKV dient als Kommunikationsschicht mit hohem Durchsatz.
Der Mechanismus: Es vereint das parallelisierbare Training der Transformer mit der effizienten, linearen Inferenz der RNNs.
Der Gewinn: RWKV fungiert als „Bindegewebe“. Es eignet sich ideal für gewöhnliche sprachliche Aufgaben und leitet Informationen zwischen dem Gedächtnis (Mamba) und dem Planer (JEPA) weiter. Es bietet dem Nutzer eine „gut genug“-Sprachschnittstelle, ohne den enormen Aufwand eines Modells der GPT-4-Klasse bei jeder einzelnen Interaktion.
Das Fazit: von Monolithen zu Ensembles
Das Zeitalter der „Scaling Laws“ war geprägt vom Bau eines immer größeren Hammers. Das nächste Zeitalter baut einen ganzen Werkzeugkasten. Wir bewegen uns auf Compound-AI-Systeme zu. Künftige Anwendungen werden wohl mit einem Router arbeiten, der sagt: „Nutze Mamba, um diesen 100-seitigen Bericht zu lesen, gib die Zusammenfassung an JEPA weiter, um eine Strategie abzuleiten, und lass ein LNN diese Strategie in Echtzeit umsetzen.“
Der Transformer stirbt nicht, aber er wird degradiert: vom „ganzen Gehirn“ zu nur einem Lappen in einem viel größeren, komplexeren Organismus.