Архитектура ProtHyena: новый подход к модели белкового языка

ПротхиенаЭто инновационная модель белка, разработанная исследователями из Токийского технологического института. Эта модель, Белковые данные Home анализировать Оператор HyenaОн разработан как эффективная базовая модель с точки зрения быстрой и сварки. В отличие от традиционных методов, основанных на оплате, ProtHyena обладает способностью захватывать одно аминокислотное разрешение как в долгосрочном контексте, так и в реальных последовательностях белка. Модель исследователей Домой Они заранее прошли обучение с использованием набора данных и внесли коррективы в различные задачи, связанные с белками. В этом процессе в некоторых случаях она сопоставима с лучшими доступными подходами или даже демонстрирует лучшую производительность.

Архитектура ProHyena

Традиционные языковые модели дома трансформатор и Домой При опоре на архитектуру длина контекста ограничена, поскольку эти модели имеют сложность кваркального расчета механизма внимания, эффективности и обработки. ProtHyena - это подход, который использует оператор Hyena для преодоления этих ограничений. Оператор HyenaВ словаре натурального белка используется разбрасыватель, и каждая аминокислота содержит специальные символьные токены для заполнения, разделения и неизвестные символы при обращении в качестве отдельного токена. Оператор Hyena состоит из повторяющейся конструкции, которая включает в себя двери на длительных созывах и элементную основу. Архитектура ProtHyena предлагает чрезвычайно эффективное решение для обучения белковых предикторов и приводит к многообещающему способу быстрого и эффективного анализа биологических последовательностей.

С точки зрения возможностей ProtHyena, он может передавать замечательные модели при моделировании длинных последовательностей белка и достигать результатов новейших технологий в определенных задачах. Эта модель показала, что она эффективна для обработки длинных последовательностей белка и обеспечения новейших технологических характеристик в различных задачах. В частности, современные модели отставали в таких задачах, как дальняя гомология и флуоресцентное предсказание. Дальняя гомологияМаксимальная точность в 31,7% дотянулся, Флуорес Если оно оценивается ТэгиЦенность дома 0, 678 как определено. Домой Прогноз вторичной структуры дома ()SSP) и Стабильность Он показал многообещающие результаты в своих обязанностях.

В результате ProtHyena представляет собой модель белкового языка, которая объединяет оператора Hyena для решения вычислительных задач, стоящих перед замечательными моделями. ProtHyena может эффективно обрабатывать длинные белковые последовательности и обеспечивать высокую производительность в различных задачах. Это важный прогресс в анализе последовательности белков и может способствовать более глубокому пониманию структур и функций белков..

Оператор Hyena

Оператор HyenaТэги Протхиена Это метод, используемый в модели и обеспечивающий некоторые преимущества, принимая расположение традиционных механизмов внимания.

Операторы, используемые в языковых моделях, часто выполняют определенные математические процессы при обработке данных. Благодаря этим процессам модель позволяет более эффективно понимать и анализировать данные. Например, механизмы внимания являются важными частями данных, которые модель получает в качестве входных данных. "найдено" обеспечивает. Таким образом, модель фокусируется на тех частях, которые она считает важными, вместо того, чтобы придавать равный вес всем данным. Оператор Hyena ставит своих операторов на место своих механизмов внимания при использовании.

Ниже мы расскажем о том, как работает этот оператор.

1. Белок Embeddin gВо-первых, белковые последовательности обрабатываются слоем встраивания, что сделает их численными векторами.
2. Блок ProtHyenaЭто один из основных компонентов модели и включает в себя следующие этапы:
   • Добавить и нормаПроцессы включения и нормализации.
   • кормить впередРасширенная сеть питания.
   • Добавить и нормаДругой процесс сложения и нормализации.
   • Оператор HyenaГиена оператор, который является основным инновационным компонентом.
3. Оператор HyenaЭта часть показывает внутреннюю структуру оператора Hyena и состоит из следующих этапов:
   • плотныйИнтенсивный (плотный) и многослойный (свертывание).
   • Длинная сверткаДлинный диапазон процесса уклонения.
   • Мудрые вратаОперация двери на основе элемента, которая может рассматриваться как нелинейная активация и своего рода процесс фильтрации.
   • плотныйЕще один плотный и разорванный слой.
4. Фильтр HyenaЭта часть определяет фильтр внутри оператора и включает следующие этапы:
   • Окно, линейный, синий акт, линейныйПроцесс выполняется с использованием линейных и тригонометрических функций активации через определенный размер окна.
   • Местонахождение EmbedПозиционное встраивание позволяет модели учитывать расположение каждой аминокислоты в массиве.

Оператор Hyena показывает, как он использует контексты дальнего действия и нелинейные активации в качестве альтернативного метода. Оператор Hyena стремится достичь той же или лучшей производительности с меньшей сложностью вычислений вместо традиционных механизмов внимания. Этот оператор позволяет модели более эффективно обрабатывать длинные белковые последовательности, что повышает общую производительность модели.

Новости

• https://www.biorxiv.org/content/10.1101/2024.01.18.576206v1
• https://www.marktechpost.com/2024/01/26/Researchers-from-the-tokyo-uranium-of-technology-introduce-prothyena-a-fast-and-efficient-foundation-protein-language-model-at-single-amino-acid-resolution/
• https://cbirt.net/unveiling-prothyena-a-fast-and-efficient-protein-language-model-for-analysis-at-single-amino-acid-resolution/

Больше

Также для большего в области искусственного интеллекта в здравоохранении Здоровье и искусственный интеллект: 5 ведущих компаний, преобразующих промышленностьСмотрите нашу статью.