Was ist das Big Language Model (LLM), wie man ausgebildet wird?

Jeden Tag chatten wir mit ChatGPT, Claude oder Open Source Llama Modellen. Wir drucken Code, fassen komplexe Texte zusammen, diskutieren manchmal ein technisches oder philosophisches Thema, das wir nur fragen. Von außen steht der Bildschirm, da es ein Bewusstsein gibt, das am anderen Ende des Bildschirms wie ein Mensch denkt, verstehen Sie, was es sagt. Doch es gibt keine Magie hinter dem Vorhang; Es gibt eine enorme Menge an Daten, eine enorme Verarbeitungsleistung und statistische Wahrscheinlichkeitsrechnungen. Also, was ist das große Sprachmodell, das die Technologiewelt in den letzten Jahren verändert und wie werden diese Systeme von Grund auf trainiert?

Was ist LLM? Ist es mehr als eine Sentle Completion Machine?

Englischer Winkel Großes Sprachmodell Was ist LLM, die schlankste Antwort auf die Frage: Die Bilder zwischen textbasierten Daten sind Deep-Learning-Modelle, die entwickelt wurden, um das nächste Wort durch Lernen von Grammatikregeln und konzeptionellen Beziehungen vorherzusagen.

Denken Sie an die automatische Abschlussfunktion auf der Tastatur Ihres Telefons. Wenn Sie "Semin ofise..." schreiben, haben Sie den Vorschlag "Ich gehe". LLMs sind riesige Versionen, die diese Logik mit Petabaytlarca-Internetdaten füttern und Milliarden von Regeln gleichzeitig verarbeiten. Der Hauptunterschied zwischen ist die Fähigkeit, Skala und Kontext zu bauen.

Die Grundlage dieser Transformation wurde 2017 veröffentlicht und ersetzte die Wurzel der natürlichen Sprachverarbeitung (NLP) Brauche alles, was du brauchst Basierend auf dem Artikel. Die Forscher entwickelten die "Transformer"-Architektur, die den Kontext aller Sätze gleichzeitig liest, anstatt Wörter in der Reihenfolge zu verarbeiten. Auf diese Weise ist ein Modell in der Lage geworden, der Bindung zwischen dem nächsten Zamar mit einem Selfie am Anfang des Textes zu folgen. Heute auf dem Punkt der Braut, für Profis, die Wettbewerbsvorteil in der Software-Welt bekommen wollen dominieren LLM-Technologien Nicht nur ein Plus, es wurde zu einer grundlegenden technischen Anforderung.

Grundstruktursteine: Was ist Token und Parameter Was ist auszudrücken?

Um zu verstehen, wie ein LLM funktioniert, ist es notwendig zu wissen, wie Modelle die Welt wahrnehmen. Computer lesen nicht direkt Buchstaben oder Wörter wie wir; sie arbeiten Zahlen.

Was ist Token?

Da Computer nicht direkt arbeiten können, werden Texte zuerst in die kleinsten sinnvollen Teile unterteilt, die als "Token" bezeichnet werden. Die praktische Antwort auf die Frage, was das Zeichen ist; manchmal ein einzelnes Wort, manchmal ein Hece oder Wortwurzel ist manchmal ein Zeichen des Zeigens.

Zum Beispiel entspricht ein Text von 1000 Wörtern in Englisch einem Durchschnitt von 1300-1400 Token. Wörter wie Türkisch können in mehrere verschiedene Token unterteilt werden, da ein einzelnes Wort mehr als ein weiteres erhält (z. B. Book-Lar-von uns). Die Trainingskosten eines Modells werden direkt über diese Token-Zahlen direkt aus der API-Gebühr und dem Kontextfenster (Kontextfenster) berechnet.

Was ist Parameter?

Die Wörter wie "8B", "70B" oder "405B", von denen wir sprechen, geben die Größe des Modells an. Wenn wir den Parameter aufrufen, können wir über den digitalen Kontrast von Synaps zwischen Neuronen im menschlichen Gehirn nachdenken.

Parameter sind Gewichte (Gewichte) und während des Trainings des künstlichen Nervennetzwerks optimierte Abweichungen (Biases). Diese gewichte werden festgelegt und bedeutungsbeziehungen zwischen wörtern werden in diesen zahlen gespeichert. Die Fähigkeit, das Modell zu abstrahieren, wenn die Anzahl der Parameter zunimmt, die Logikausführung und die Lösung komplexer Probleme oft erhöht werden; aber die Hardwarekosten und die Verzögerungszeit, die parallel benötigt werden, sind ebenfalls gefaltet.

Schritt: Wie repariert man ein Sprachmodell?

Ein großes Sprachmodell erfordert intensives Data Engineering und eine hohe Verarbeitungsleistung, die Monate braucht, um von Grund auf neu zu kommen und live zu sein. Wir können das Sprachmodell in 4 Hauptphasen zusammenfassen:

Basic Model (Base Model) erlernte Sprachstruktur und allgemeines Weltwissen

Tausende GPU-Sets, unüberwachtes (unüberwachtes) Lernen

3. Beaufsichtigte Feinsteuerung - SFT

Erlangung eines Dialogformats zum Modell mit Fragen-Cevap und Befehlsdatensätzen

Assistenzmodell, das direkt und logisch auf gestellte Fragen reagiert

Qualitätsdialogdatensätze, auditiertes Lernen (überwacht)

4. Ausrichtung (Ausrichtung - RLHF / DPO)

Optimierung von Reaktionen auf menschliche Präferenzen und Sicherheitsregeln

Harmloses, ehrliches und unvoreingenommenes Endbenutzermodell (Instruct / Chat-Modell)

Lernen Sie, menschliches Feedback (RLHF) zu konsolidieren

1. Datenerfassung und -bereinigung (Datenvorverarbeitung)

Alles beginnt mit dem Surfen im Internet: Websites werden durch Scannen von Open-Source-Code-Stores, akademischen Artikeln, Büchern und Foren gesammelt. Internetdaten können jedoch nicht direkt verwendet werden; es ist notwendig, ernsthaft zu reinigen:

• Wiederum wird (duplizierter) Inhalt extrahiert.

• HTML-Tags und nicht identifizierte Zeichenfelder werden bereinigt.

• Die Teile, die giftig, Hassphrase und persönliche Daten enthalten, werden gefiltert.

Die Qualität der Trainingsdaten bestimmt direkt den Erfolg des Modells. Die Regel "wenn Sie eintreten" in der Welt der Datenwissenschaft gilt auch für wichtige Sprachmodelle.

2. 2. Vorschulung (Vorschulung)

Der teuerste, längste und Energieverbrauch des Prozesses ist die höchste Stufe. Tausende von Hochleistungs-GPU-Wochen, arbeiten manchmal ohne Intervall.

In diesem Stadium wird das Modell als unkontrolliert (unüberwacht) trainiert. Das Modell erhält Worttext in Trilyons; einige Wörter im Text werden ausgeblendet und aufgefordert, das nächste Wort aus dem Modell vorherzusagen. Das Modell macht milliardenfach Fehler, aktualisiert die Parameter Gewicht mit der Ähnlichkeit (Backpropagation) und lernt im Laufe der Zeit Grammatik, Satzfluss und allgemeines Weltwissen. Es gibt ein "Basic Model" (Base Model), das noch nicht als Assistent fungiert, wenn die Vorschulung abgeschlossen ist.

3. Beaufsichtigte Feinsteuerung - SFT

Die grundlegende Modellsprache ist kein guter Assistent. Um die Frage zu beantworten, wenn Sie ihn fragen: "Wo ist die Hauptstadt Deutschlands?", Kann er seine Frage fortsetzen. Weil es nur darum geht, den Text zu erweitern, den Sie kennen.

In der SFT-Phase bietet das Modell Qualitätsdatensätze im Frage-Cevap-Format:

• Benutzer: Wie kann man die Liste in Python umkehren?

• Assistent: list.reverse() Methode oder [::-1] Sie können die Slicing-Methode verwenden.

Dank dieser Schulung lernt das Modell, direkt auf eine Frage, Codebeschreibung oder Textzusammenfassung zu antworten.

4. Ausrichtung (Ausrichtung: RLHF und DPO)

Obwohl das Modell jetzt die Anweisungen versteht, kann es irreführende oder beleidigende Ausgaben erzeugen. Hier, an diesem Punkt, tritt der Mensch in Aktion. Hugging Face LLM Integration Guide RLHF detailliert in Quellen wie ()© Copyright 2018. Alle Rechte vorbehalten.) und DSB (DirektpräferenzoptimierungEs gelten die Methoden.

Der menschliche Etikettierer weist auf die sicherste und genaueste hin, indem er die alternativen Antworten vergleicht, die das Modell erzeugt. Das Modell beginnt, benutzerfreundliche, unvoreingenommene und harmlose Antworten zu liefern, indem es diese Feedbacks mit dem Belohnungs-/Ceza-Mechanismus lernt. Auf der anderen Seite, um die Zuverlässigkeit dieser Antworten von Modellen und die tatsächliche Genauigkeit zu testen DeepMind SAFE System automatische Kontrollmechanismen wie Inbetriebnahme und Minimierung des Halluzinationsrisikos.

Customize Models und Developer World

Wir sind nicht nur auf die Cloud-Dienste von riesigen Technologieunternehmen angewiesen, um heutzutage große Sprachmodelle zu verwenden. Mit dem Wachstum des Open-Source-Ökosystems können Entwickler dank Quantisierungstechniken 8-Bit- oder 4-Bit-Levels ausführen.

LoRALow-Rank-Adaption) wie parametereffiziente Feinanpassungstechniken (PEFT) sind nur möglich, spezielle vertikale Modelle für Institutionen zu erstellen, indem eine kleine Adapterschicht aktualisiert wird, anstatt die gesamten riesigen Modelle neu zu trainieren. Für Ingenieure, die diese Umwandlung in eigene Projekte tragen wollen LLM-Ökosystem und Entwicklertrainings Home, Modell-APIs, Open-Source-Bibliotheken und RAGRetrieval-erweiterte GenerationEs ist eine entscheidende Rolle bei der Vermischung mit Architekturen.

Große Sprachmodelle sind kein magisches Bewusstsein; massive Optimierungssysteme, die menschliches schriftliches Erbe in mathematische Gewichte verwandeln. Die Tokenisierung ist der erste Schritt, um die Logik des Vortrainings und der Ausrichtung zu erfassen, nicht nur mit diesen Tools, deren Verwaltung und der Integration von Projekten.