В мире искусственного интеллекта, особенно крупные языковые модели (LLM), забывают прошлую информацию при обработке огромных стеков данных, или стоимость запоминания этой информации достигает астрономических уровней. Разработчик: Google Research Team Архитектура Титанов и кадр MIRASТэги «Запоминание тестового времени» (test instant memorization) ИИ обещает принести постоянное решение проблемы долговременной памяти с ее возможностями.
Эта новая технология может обрабатывать миллионы токенов без потерь и с высокой скоростью, активно обновляя параметры памяти, в отличие от стандартных моделей Transformer. В этой статье мы рассмотрим техническую глубину титанов и MIRAS, как ИИ преобразует способность моделирования последовательностей и детали, основанные на академических ресурсах этой инновации.
Что такое Титаны и Мирас? Технические основы и инновации
Традиционная трансформаторная архитектура "Внимание" (ккат) Он предлагает отличную кратковременную память с механизмом, но стоимость расчета резко возрастает по мере увеличения длины массива. Исследователи Google Али Бехруз, Мейсам Разавиян и Вахаб Миррокни 4 декабря 2025 года было объявлено об исследованииТэги RNN's (Norious Networks with Burning) (недоступная ссылка) Сочетать скорость с точностью трансформаторов.
- Архитектура Титанов: Это «физический» инструмент системы. Титаны, в отличие от традиционной памяти RNN фиксированного размера, обобщают прошлые данные с помощью глубокой нервной сети (многослойный датчик - MLP).
- Фрейм MIRAS: MIRAS (план) - это теоретическая основа, разработанная для обобщения этих подходов. Он определяет моделирование последовательностей как проблему «дициональной памяти» (ассоциативной памяти) и выделяет архитектуру памяти на четыре основных компонента, включая отраженное внимание (предвзятость внимания), удерживающий затвор (затвор удержания) и алгоритм памяти.
Как работают титаны? Активное обучение с помощью «Surpriz Metriği»
Уникальность Титанов в том, что они учатся запоминать информацию активно, а не пассивно. При этом тенденция «получения неожиданных событий» в человеческой психологии трансформируется в математическую модель.
- Сюрпризная цивилизация (Surprise Metric): Модель измеряет разницу между новыми данными и текущим состоянием памяти. Если данные соответствуют ожидаемой калибе, память не обновляется. Однако, если данные являются неожиданными, эта информация помечается как «подготовленная» и сохраняется в основном в долговременной памяти.
- Оригинальное название: Remember Gate: Титаны используют механизм импульса, который учитывает не только моментальный сюрприз, но и поток сюрпризов в прошлом. Он также применяет адаптивное снижение веса (забывание ворот), которое больше не требует управления ограниченной емкостью памяти.
Оригинальное название: Transition to Beyond MSE Paradigm
Большинство доступных моделей основаны на стандартных методах, таких как Error Squares Average (MSE) или уравновешенность точек при сравнении данных. MIRAS предлагает форматы «Уникальные цели» и новое редактирование (регуляризация), превышающее это ограничение. Под этой рамкой были разработаны три специальные модели:
- Яад: Более устойчив к ошибкам (использует потерю Huber), выполняет высокую производительность в грязных или несогласованных данных.
- Мобильный: Он нацелен на стабильную долговременную память, используя более дисциплинированные правила и сложные математические штрафы.
- Мемора: Их трудно рассматривать как твердую карту вероятности, чтобы максимизировать стабильность памяти.
Каковы результаты запоминания тестового времени и производительности?
Варианты Titans и MIRAS сравниваются с ведущими отраслевыми архитектурами, такими как Transformer++, Mamba-2 и Gated DeltaNet.
- Скриншоты из Long Connect: Гигантские модели, такие как Titans, GPT-4 в тестах BABILong остались позади, хотя у него гораздо меньше параметров.
2 миллиона лимитов токенов: Исследования показали, что титаны могут эффективно масштабировать большие контекстные окна, чем 2 миллиона токенов.Геномный и временный успех: Титаны не ограничивались только текстами; моделирование ДНК (GenomicsBenchmarks) и задачи прогнозирования временных рядов также дали лучшие результаты.
Почему титаны и искусственный интеллект будущего?
Традиционным моделям приходилось удалять старую информацию, когда они запускали огромные документы или замедляли или запускали окно контекста. Архитектура Титанов показала, что увеличение глубины памяти (L M) снижает сложность и модель остается более «тутарлы».
Фреймворк MIRAS завершил потерянное кольцо между онлайн-оптимизацией, памятью отношений и архитектурным дизайном, привнеся теоретическое единство в мир моделирования с искусственным интеллектом. Это означает, что искусственный интеллект — это не только «не полевая» система, которая синтезирует и понимает всю историю, которая читает.
Таким образом, проблема долговременной памяти ИИ стандартизирует использование искусственного интеллекта с длинным контекстом (ИИ с длинным контекстом) во многих областях от геномного анализа до полного юридического анализа документов. Революция Google Research открывает новую страницу в области искусственного интеллекта, сочетая эффективность RNN с мощностью трансформатора.
В мире искусственного интеллекта, особенно крупные языковые модели (LLM), забывают прошлую информацию при обработке огромных стеков данных, или стоимость запоминания этой информации достигает астрономических уровней. Разработчик: Google Research Team Архитектура Титанов и кадр MIRAS Тэги «Запоминание тестового времени» (test instant memorization) ИИ обещает принести постоянное решение проблемы долговременной памяти с ее возможностями. Эта новая технология может обрабатывать миллионы токенов без потерь и с высокой скоростью, активно обновляя параметры памяти, в отличие от стандартных моделей Transformer. В этой статье мы рассмотрим техническую глубину титанов и MIRAS, как ИИ преобразует способность моделирования последовательностей и детали, основанные на академических ресурсах этой инновации. Что такое Титаны и Мирас? Технические основы и инновации Традиционная трансформаторная архитектура "Внимание" (ккат) Он предлагает отличную кратковременную память с механизмом, но стоимость расчета резко возрастает по мере увеличения длины массива. Исследователи Google Али Бехруз, Мейсам Разавиян и Вахаб Миррокни 4 декабря 2025 года было объявлено об исследовании Тэги RNN's (Norious Networks with Burning) (недоступная ссылка) Сочетать скорость с точностью трансформаторов. Архитектура Титанов: Это «физический» инструмент системы. Титаны, в отличие от традиционной памяти RNN фиксированного размера, обобщают прошлые данные с помощью глубокой нервной сети (многослойный датчик - MLP). Фрейм MIRAS: MIRAS (план) - это теоретическая основа, разработанная для обобщения этих подходов. Он определяет моделирование последовательностей как проблему «дициональной памяти» (ассоциативной памяти) и выделяет архитектуру памяти на четыре основных компонента, включая отраженное внимание (предвзятость внимания), удерживающий затвор (затвор удержания) и алгоритм памяти. Как работают титаны? Активное обучение с помощью «Surpriz Metriği» Уникальность Титанов в том, что они учатся запоминать информацию активно, а не пассивно. При этом тенденция «получения неожиданных событий» в человеческой психологии трансформируется в математическую модель. Сюрпризная цивилизация (Surprise Metric): Модель измеряет разницу между новыми данными и текущим состоянием памяти. Если данные соответствуют ожидаемой калибе, память не обновляется. Однако, если данные являются неожиданными, эта информация помечается как «подготовленная» и сохраняется в основном в долговременной памяти. Оригинальное название: Remember Gate: Титаны используют механизм импульса, который учитывает не только моментальный сюрприз, но и поток сюрпризов в прошлом. Он также применяет адаптивное снижение веса (забывание ворот), которое больше не требует управления ограниченной емкостью памяти. Оригинальное название: Transition to Beyond MSE Paradigm Большинство доступных моделей основаны на стандартных методах, таких как Error Squares Average (MSE) или уравновешенность точек при сравнении данных. MIRAS предлагает форматы «Уникальные цели» и новое редактирование (регуляризация), превышающее это ограничение. Под этой рамкой были разработаны три специальные модели: Яад: Более устойчив к ошибкам (использует потерю Huber), выполняет высокую производительность в грязных или несогласованных данных. Мобильный: Он нацелен на стабильную долговременную память, используя более дисциплинированные правила и сложные математические штрафы. Мемора: Их трудно рассматривать как твердую карту вероятности, чтобы максимизировать стабильность памяти. Каковы результаты запоминания тестового времени и производительности? Варианты Titans и MIRAS сравниваются с ведущими отраслевыми архитектурами, такими как Transformer++, Mamba-2 и Gated DeltaNet. Скриншоты из Long Connect: Гигантские модели, такие как Titans, GPT-4 в тестах BABILong остались позади, хотя у него гораздо меньше параметров. 2 миллиона лимитов токенов: Исследования показали, что титаны могут эффективно масштабировать большие контекстные окна, чем 2 миллиона токенов. Геномный и временный успех: Титаны не ограничивались только текстами; моделирование ДНК (GenomicsBenchmarks) и задачи прогнозирования временных рядов также дали лучшие результаты. Почему титаны и искусственный интеллект будущего? Традиционным моделям приходилось удалять старую информацию, когда они запускали огромные документы или замедляли или запускали окно контекста. Архитектура Титанов показала, что увеличение глубины памяти (L M) снижает сложность и модель остается более «тутарлы». Фреймворк MIRAS завершил потерянное кольцо между онлайн-оптимизацией, памятью отношений и архитектурным дизайном, привнеся теоретическое единство в мир моделирования с искусственным интеллектом. Это означает, что искусственный интеллект — это не только «не полевая» система, которая синтезирует и понимает всю историю, которая читает. Таким образом, проблема долговременной памяти ИИ стандартизирует использование искусственного интеллекта с длинным контекстом (ИИ с длинным контекстом) во многих областях от геномного ан
Админ
