ProtHyena Architecture: Nouvelle approche des modèles de langage protéique

ProtHyenaest un modèle innovant de protéines développé par des chercheurs de l'Institut de technologie de Tokyo. Ce modèle, données protéiques Accueil pour analyser Opérateur de HyenaIl est conçu comme un modèle de base efficace en termes de rapidité et de soudage qui utilise. Contrairement aux méthodes traditionnelles basées sur la rémunération, ProtHyena a la capacité de capturer la résolution d'un seul acide aminé dans le contexte à longue distance et les séquences de protéines réelles. Modèle de chercheurs Sommaire Ils ont été formés à l'avance à l'aide de l'ensemble de données et ont procédé à un ajustement fin pour diverses tâches liées aux protéines. Dans ce processus, dans certains cas, il est comparable aux meilleures approches disponibles, ou encore une meilleure performance est exposée.

ProtHyena Architecture

Modèles de langue traditionnelle Transformateur et Sommaire En s'appuyant sur des architectures, la longueur du contexte est limitée parce que ces modèles ont la complexité du calcul quaractique du mécanisme d'attention, l'efficacité et le traitement. ProtHyena est une approche qui utilise l'opérateur Hyena pour surmonter ces limitations. Opérateur de HyenaLe vocabulaire des protéines naturelles utilise l'épandeur et chaque acide aminé contient des jetons de caractères spéciaux pour le remplissage, la séparation et des caractères inconnus lorsqu'il s'agit d'un jeton séparé. Hyena opérateur se compose d'une structure répétitive, qui comprend des portes sur de longues convocations et éléments. L'architecture de ProtHyena offre une solution extrêmement efficace pour former des prédicteurs de protéines et permet une analyse rapide et efficace des séquences biologiques.

En termes de capacités de ProtHyena, il peut passer des modèles remarquables dans la modélisation de longues séquences de protéines et atteindre les derniers résultats technologiques dans certaines tâches. Ce modèle a montré qu'il est efficace pour traiter de longues séquences de protéines et fournir les dernières performances technologiques dans diverses tâches de réduction de débit. En particulier, les modèles contemporains ont été abandonnés dans des tâches telles que l'homologie lointaine et la prédiction fluorescente. Très HomologieTaux de précision le plus élevé en 31,7% atteint, Fluores si elle est estimée ÉtiquettesLa valeur de la maison 0. 678 comme déterminé. Sommaire Accueil de la structure secondaire (SSP) et Stabilité Il a montré des résultats prometteurs dans ses fonctions.

En conséquence, ProtHyena est un modèle de langage protéique qui combine l'opérateur Hyena pour résoudre les défis de calcul auxquels sont confrontés des modèles remarquables. ProtHyena peut traiter efficacement de longues séquences de protéines et offrir des performances élevées dans diverses tâches d'écoulement. Il s'agit d'un progrès important dans l'analyse des séquences protéiques et peut contribuer à une compréhension plus approfondie des structures et des fonctions des protéines..

Opérateur de Hyena

Opérateur de HyenaÉtiquettes ProtHyena C'est une technique utilisée dans le modèle et offre quelques avantages en prenant l'emplacement des mécanismes d'attention traditionnels.

Les opérateurs utilisés dans les modèles linguistiques effectuent souvent certains processus mathématiques lors du traitement des données. Grâce à ces processus, il permet au modèle de mieux comprendre et analyser les données. Par exemple, les mécanismes d'attention sont des éléments importants dans les données que le modèle reçoit en entrée "trouvé" fournit. De cette façon, le modèle se concentre sur les parties où il trouve important, plutôt que de donner un poids égal à l'ensemble des données. L'opérateur Hyena met ses propres opérateurs à la place de leurs mécanismes d'attention s'il est utilisé.

Je vous expliquerai ci-dessous comment fonctionne cet opérateur.

1. Protéines: D'abord, les séquences protéiques sont traitées avec une couche d'intégration, qui les fera devenir vecteurs numériques.
2. Bloc ProtHyena: C'est l'une des composantes de base du modèle et comprend ces étapes :
   • Ajouter une & norme: Processus d'insertion et de normalisation.
   • Flux vers l'avant: Réseau avancé d'alimentation.
   • Ajouter une & norme: Un autre processus d'addition et de normalisation.
   • Opérateur de Hyena: Hyena opérateur, qui est le principal composant innovant.
3. Opérateur de Hyena: Cette partie montre la structure interne de l'opérateur Hyena et se compose des étapes suivantes :
   • Sensation: Intense (Dense) et stratifié (Convolution).
   • Longue convolution: Longue portée du processus d'évasion.
   • Porte par élément: Fonctionnement de la porte sur la base de l'Element, qui peut être vu comme une activation non linéaire et une sorte de processus de filtrage.
   • Sensation: Une autre couche dense et déchirée.
4. Filtre Hyena: Cette partie définit le filtre à l'intérieur de l'opérateur et comprend ces étapes :
   • Fenêtre, linéaire, loi sur le sinus, linéaire: Le processus est fait en utilisant des fonctions d'activation linéaire et trigonométrique à travers une certaine taille de fenêtre.
   • Emplacement intégré: L'intégration positionnelle permet au modèle de considérer l'emplacement de chaque acide aminé dans le tableau.

L'opérateur Hyena montre comment il utilise des contextes à longue distance et des activations non linéaires comme méthode alternative à son mécanisme d'attention. Hyena opérateur vise à atteindre la même ou meilleure performance avec moins de complexité de calcul au lieu de mécanismes d'attention traditionnels. Cet opérateur permet au modèle de traiter de longues séquences protéiques plus efficacement, ce qui augmente la performance globale du modèle.

Nouvelles

• https://www.biorxiv.org/content/10.1101/2024.01.18.576206v1
• https://www.marktechpost.com/2024/01/26/researchers- from-the-tokyo-uranium-of-technology-introduce-prothyena-a-fast-and-efficient-fondation-protéine-langue-modèle-à-single-amino-acide-résolution/
• https://cbirt.net/unveilling-prothyena-a-fast-and-efficace-protéine-langage-modèle-analyse-à-single-amino-acide-résolution/

Plus

Aussi pour plus dans le domaine de l'intelligence artificielle dans la santé ‘ La santé et l'intelligence artificielle: 5 grandes entreprises qui transforment l'industrie!Voir notre article.