Titanen und MIRAS: AI Long Time Memory Troubleshooting

In der Welt der künstlichen Intelligenz vergessen vor allem große Sprachmodelle (LLM) vergangene Informationen, wenn sie riesige Datenstapel verarbeiten, oder die Kosten für die Erinnerung an diese Informationen sind astronomische Ebenen zu erreichen. Eingeführt von Google Research team Titanenarchitektur und MIRAS-RahmenTags "test-time memorization" (test instant memorization) KI verspricht eine dauerhafte Lösung für das Langzeitgedächtnisproblem mit seiner Fähigkeit.

Diese neue Technologie kann Millionen von Token-Kontext (Kontext) verlustfrei und mit hoher Geschwindigkeit verarbeiten, indem Speicherparameter im Gegensatz zu Standard-Transformer-Modellen aktiv aktualisiert werden. In diesem Artikel werden wir die technische Tiefe von Titanen und MIRAS, wie AI die Sequenzmodellierungsfähigkeit umwandelt, und Details basierend auf akademischen Ressourcen dieser Innovation untersuchen.

Was sind Titanen und Miras? Technische Grundlagen und Innovationen

Traditionelle Transformer Architektur, "Achtung" (kkat) bietet ein ausgezeichnetes Kurzzeitgedächtnis mit dem Mechanismus; aber die Berechnungskosten steigen dramatisch, wenn die Arraylänge zunimmt. Google Forscher von Ali Behrouz, Meisam Razaviyayn und Vahab Mirrokni 4. Dezember 2025 kündigte diese Studie anTags RNN (Norious Networks with Burning) Kombinieren Sie Geschwindigkeit mit der Genauigkeit von Transformatoren.

• Titans Architektur: Dies ist das "physische" Werkzeug des Systems. Titanen fassen im Gegensatz zu herkömmlichen RNN-Speichern in fester Größe vergangene Daten mit einem tiefen Nervennetzwerk (Multilayer-Sensor - MLP) zusammen.
• MIRAS-Rahmen: MIRAS (Blueprint) ist ein theoretischer Rahmen, der entwickelt wurde, um diese Ansätze zu verallgemeinern. Es definiert die Sequenzmodellierung als ein Problem des "Bedingungsgedächtnisses" (assoziatives Gedächtnis) und unterscheidet die Speicherarchitektur in vier Hauptkomponenten, einschließlich der reflektierten Aufmerksamkeit (Aufmerksamkeitsverzerrung), des Haltetors (Retention Gate) und des Speicheralgorithmus.

Wie funktionieren Titanen? Aktives Lernen mit "Surpriz Metriği"

Was Titans einzigartig macht, ist zu lernen, was man sich aktiv erinnert, anstatt Daten passiv zu speichern. In diesem Prozess wird der Trend, "unerwartete Ereignisse" in der menschlichen Psychologie zu bekommen, in ein mathematisches Modell umgewandelt.

• Surprise Civilization (Überraschungsmetrik): Das Modell misst den Unterschied zwischen den neuen Daten und dem aktuellen Speicherstatus. Wenn die Daten zu einer erwarteten Caliba (niedrige Überraschung) passen, wird der Speicher nicht aktualisiert. Wenn Daten jedoch unerwartet sind (hohe Überraschung), werden diese Informationen als "vorbereitet" markiert und hauptsächlich im Langzeitgedächtnis gespeichert.
• Momentum und Remember Gate: Titans verwendet einen Impulsmechanismus, der nicht nur diese momentane Überraschung, sondern auch den Fluss der Überraschungen in der Vergangenheit berücksichtigt. Es wendet auch adaptive Gewichtsdegradation (Gate vergessen) an, die keine begrenzte Speicherkapazität mehr verwalten muss.

MIRAS Frame: Übergang zum MSE-Paradigma

Die meisten verfügbaren Modelle basieren auf Standardmethoden wie Error Squares Average (MSE) oder Point Palpitability beim Vergleich der Daten. MIRAS bietet die Formate "Einzigartige Ziele" und Neubearbeitung (Regularisierung), die diese Einschränkung überschreiten. In diesem Rahmen wurden drei spezielle Modelle entwickelt:

1. YAAD: Resistenter gegen Fehler (Verwendet den Verlust vonHuber), führt hohe Leistung in schmutzigen oder inkonsistenten Daten.
2. Mobil: Es zielt auf ein stabiles Langzeitgedächtnis mit disziplinierteren Regeln und komplexen mathematischen Strafen (generierte Normen).
3. MEMORA: Sie sind schwer zu behandeln Gedächtnis wie eine solide Wahrscheinlichkeitskarte, um Gedächtnisstabilität zu maximieren.

Was sind die Testzeit-Erinnerungs- und Leistungsergebnisse?

Titanen und MIRAS-Varianten wurden mit branchenführenden Architekturen wie Transformer++, Mamba-2 und Gated DeltaNet verglichen.

• Über Long Connect Recall: Gigantische Modelle wie Titans, GPT-4 in BABILong Benchmark-Tests zurückgelassen, obwohl es viel weniger Parameter hat.

Warum sind Titans und MIRAS künstliche Intelligenz der Zukunft?

Traditionelle Modelle mussten alte Informationen löschen, wenn sie riesige Dokumente ausführen oder das Kontextfenster verlangsamen oder ausführen. Die Titans-Architektur hat gezeigt, dass die zunehmende Speichertiefe (L M) die Komplexität reduziert und das Modell mehr "tutarlı" bleibt.

Das MIRAS-Framework hat den verlorenen Ring zwischen Online-Optimierung, Beziehungsspeicher und Architekturdesign vervollständigt, indem es die theoretische Einheit in die Welt der künstlichen Intelligenz gebracht hat. Dies bedeutet, dass künstliche Intelligenz nicht nur ein "Nicht-Feld" -System ist, das die gesamte gelesene Geschichte synthetisiert und versteht.

Auf diese Weise wird das KI-Langzeitgedächtnisproblem den Einsatz von langer Kontext-Künstliche Intelligenz (Langkontext-KI) in vielen Bereichen standardisieren, von der Genomanalyse bis hin zu vollständigen Dokumentenprüfungen. Diese Revolution von Google Research eröffnet eine neue Seite über künstliche Intelligenz, indem RNN-Effizienz mit Transformer-Leistung kombiniert wird.