ProtHyena-Architektur: Neuer Ansatz für Protein-Sprachmodelle

ProtHyenaist ein innovatives Proteinmodell, das von Forschern des Tokyo Institute of Technology entwickelt wurde. Dieses Modell, Proteindaten Home zu analysieren Betreiber von HyenaEs ist als effizientes Basismodell in Bezug auf Schnelligkeit und Schweißen konzipiert. Im Gegensatz zu herkömmlichen Pay-basierten Methoden hat ProtHyena die Fähigkeit, einzelne Aminosäureauflösung sowohl im Langzeitkontext als auch in tatsächlichen Proteinsequenzen zu erfassen. Forschermodell Zuhause Sie haben im Voraus mit dem Datensatz trainiert und eine Feinanpassung für verschiedene proteinbezogene Aufgaben vorgenommen. In diesem Prozess ist es in einigen Fällen vergleichbar mit den besten verfügbaren Ansätzen, oder es wird eine noch bessere Leistung gezeigt.

ProtHyena Architektur

Traditionelle Sprachmodelle Home Transformator und Zuhause Wenn man sich auf Architekturen stützt, ist die Länge des Kontexts begrenzt, da diese Modelle die Komplexität der quaraktischen Berechnung des Aufmerksamkeitsmechanismus, der Effizienz und der Verarbeitung haben. Prothyena ist ein Ansatz, der Hyena-Operator verwendet, um diese Einschränkungen zu überwinden. Betreiber von HyenaDas natürliche Proteinvokabular verwendet den Spreader und jede Aminosäure enthält spezielle Zeichenmarken zum Füllen, Trennen und unbekannte Zeichen bei der Adressierung als separates Token. Hyena-Operator besteht aus einer sich wiederholenden Struktur, die Türen auf langen Einberufungen und Elementbasis enthält. Die Architektur von ProtHyena bietet eine äußerst effektive Lösung zum Trainieren von Proteinprädiktoren und führt zu einem vielversprechenden Weg für eine schnelle und effiziente Analyse biologischer Sequenzen.

In Bezug auf die Fähigkeiten von ProtHyena kann es bemerkenswerte Modelle bei der Modellierung langer Proteinsequenzen passieren und bei bestimmten Aufgaben die neuesten technologischen Ergebnisse erzielen. Dieses Modell hat gezeigt, dass es effektiv ist, lange Proteinsequenzen zu verarbeiten und die neueste Technologieleistung bei verschiedenen Flow-Down-Aufgaben zu liefern. Insbesondere zeitgenössische Modelle blieben bei Aufgaben wie Far Homology und Fluoreszenzvorhersage zurück. Far HomologieHöchste Genauigkeit in 31,7% erreicht, Fluore wenn es geschätzt wird TagsWert Home 0. 678 wie bestimmt. Zuhause Sekundärstruktur Prognose Home ()SSP) und Stabilität Er hat vielversprechende Ergebnisse in seinen Aufgaben gezeigt.

Als Ergebnis ist ProtHyena ein Protein-Sprachmodell, das den Hyena-Operator kombiniert, um die Rechenherausforderungen zu lösen, vor denen bemerkenswerte Modelle stehen. ProtHyena kann lange Proteinsequenzen effizient verarbeiten und eine hohe Leistung bei verschiedenen Flow-Down-Aufgaben bieten. Dies ist ein wichtiger Fortschritt in der Proteinsequenzanalyse und kann zu einem tieferen Verständnis der Strukturen und Funktionen von Proteinen beitragen..

Hyena Betreiber

Betreiber von HyenaTags ProtHyena Es ist eine Technik, die im Modell verwendet wird und einige Vorteile bietet, indem man die Position traditioneller Aufmerksamkeitsmechanismen nimmt.

Operatoren, die in Sprachmodellen verwendet werden, führen bei der Verarbeitung von Daten häufig bestimmte mathematische Prozesse durch. Dank dieser Prozesse ermöglicht es dem Modell, Daten effektiver zu verstehen und zu analysieren. Zum Beispiel sind Aufmerksamkeitsmechanismen wichtige Teile innerhalb der Daten, die das Modell als Eingabe erhält. „Gefunden liefert. Auf diese Weise konzentriert sich das Modell auf die Teile, die es für wichtig hält, anstatt der Gesamtheit der Daten das gleiche Gewicht zu geben. Hyena Operator setzt seine eigenen Betreiber anstelle ihrer Aufmerksamkeit Mechanismen, wenn verwendet.

Im Folgenden werde ich die Details erklären, wie dieser Operator funktioniert.

1. Protein Embeddin gErstens werden Proteinsequenzen mit einer Schicht von Einbettungen verarbeitet, wodurch sie zu numerischen Vektoren werden.
2. ProtHyena Block: Dies ist eine der grundlegenden Komponenten des Modells und umfasst diese Schritte:
   • Add & Norm: Einfügungs- und Normalisierungsprozesse.
   • Feed Forward: Advanced Feeding Network.
   • Add & Norm: Ein weiterer Additions- und Normalisierungsprozess.
   • Hyena Betreiber: Hyena Operator, der die wichtigste innovative Komponente ist.
3. Hyena BetreiberDieser Teil zeigt die interne Struktur des Hyena-Operators und besteht aus den folgenden Schritten:
   • dicht: Intensiv (Dense) und geschichtet (Convolution).
   • Lange Falten: Lange Reichweite des Ausweichprozesses.
   • Elementweises Gate: Türbetrieb auf Basis des Elements, der als nichtlineare Aktivierung und eine Art Filterprozess angesehen werden kann.
   • dicht: Ein weiteres dichtes und zerrissenes Schichtarray.
4. Hyänenfilter: Dieser Teil definiert den Filter innerhalb des Operators und beinhaltet folgende Schritte:
   • Fenster, Linear, Sinusakt, Linear: Der Prozess wird mit linearen und trigonometrischen Aktivierungsfunktionen durch eine bestimmte Fenstergröße durchgeführt.
   • Standort EmbedPositionale Einbettung ermöglicht es dem Modell, die Position jeder Aminosäure im Array zu berücksichtigen.

Der Hyena-Operator zeigt, wie er Fernkontexte und nichtlineare Aktivierungen als alternative Methode zu seinem Aufmerksamkeitsmechanismus verwendet. Hyena-Operator zielt darauf ab, die gleiche oder bessere Leistung mit weniger Berechnungskomplexität anstelle von traditionellen Aufmerksamkeitsmechanismen zu erreichen. Dieser Operator ermöglicht es dem Modell, lange Proteinsequenzen effizienter zu verarbeiten, was die Gesamtmodellleistung erhöht.

Nachrichten

• https://www.biorxiv.org/content/10.1101/2024.01.18.576206v1
• https://www.marktechpost.com/2024/01/26/researchers-from-the-tokyo-uran-of-technology-introduce-prothyena-a-fast-and-efficient-foundation-protein-language-model-at-single-amino-acid-resolution/
• https://cbirt.net/unveiling-prothyena-a-fast-and-efficient-protein-language-model-for-analysis-at-single-amino-acid-resolution/

Mehr

Auch für mehr im Bereich Künstliche Intelligenz im Gesundheitswesen Gesundheit und künstliche Intelligenz: 5 führende Unternehmen, die die Industrie verändern!Siehe unseren Artikel.