Qu'est-ce que le modèle de grande langue (LLM), comment être éduqué?

Chaque jour, nous clavons avec les modèles ChatGPT, Claude ou open source Llama. Nous imprimons du code, résumons des textes complexes, parfois nous discutons d'un sujet technique ou philosophique que nous ne faisons que nous poser. De l'extérieur de l'écran se tient comme il y a une conscience qui pense comme l'homme à l'autre extrémité de l'écran, comprendre ce qu'il dit. Pourtant, il n'y a pas de magie derrière le rideau; il y a une énorme quantité de données, un énorme pouvoir de traitement et des comptes de probabilité statistique. Alors, quel est le grand modèle linguistique qui change le monde de la technologie au cours des dernières années et comment ces systèmes sont-ils formés de zéro ?

Qu'est-ce que LLM? Est-ce plus qu'une machine d'achèvement de sens?

Angle anglais Grand modèle linguistique Qu'est-ce que LLM, la réponse la plus maigre à la question: Les images entre les données textuelles sont des modèles d'apprentissage profond conçus pour prédire le mot suivant en apprenant les règles de grammaire et les relations conceptuelles.

Pensez à la fonction d'achèvement automatique sur votre clavier de téléphone. Quand vous écrivez "Semin ofise..." vous avez la proposition "J'y vais". Les LLM sont d'énormes versions qui alimentent cette logique avec des données internet de pétabaytlarca et traitent simultanément des milliards de règles. La principale différence est la capacité de construire une échelle et un contexte.

La base de cette transformation a été publiée en 2017 et a remplacé la racine du traitement du langage naturel (NLP) Besoin de tout ce dont vous avez besoin basé sur l'article. Les chercheurs ont développé l'architecture « Transformer » qui lit le contexte de toutes les phrases en même temps au lieu de traiter les mots dans l'ordre. Ainsi, un modèle est devenu capable de suivre le lien entre le prochain zamir avec un selfie au début du texte. Aujourd'hui au point de la mariée, pour les professionnels qui veulent obtenir un avantage concurrentiel dans le monde du logiciel dominent les technologies LLM Non seulement un plus, il est devenu une exigence technique de base.

Pierres de structure de base: Qu'est-ce que le jeton et le paramètre Qu'exprimer?

Pour comprendre comment fonctionne un LLM, il est nécessaire de savoir comment les modèles perçoivent le monde. Les ordinateurs ne lisent pas directement des lettres ou des mots comme nous; ils travaillent les chiffres.

Qu'est-ce que Token ?

Puisque les ordinateurs ne peuvent pas fonctionner directement, les textes sont divisés en les plus petites parties significatives appelées « jeton » d'abord. La réponse pratique de la question de ce qui est le jeton; parfois un seul mot, parfois une hece ou un mot racine est parfois un signe de pointage.

Par exemple, un texte de 1000 mots en anglais correspond à une moyenne de 1300–1400 jetons. Des mots comme le turc peuvent être divisés en plusieurs jetons différents comme un seul mot reçoit plus d'un supplémentaire (comme le livre-lar-de nous). Le coût de formation d'un modèle est calculé directement à partir de ces numéros de jeton directement à partir de la fenêtre des frais et contextes de l'API (fenêtre contextuelle).

Qu'est-ce que Parameter?

Les mots comme "8B", "70B" ou "405B" que nous parlons de modèles indiquent la taille du modèle. Lorsque nous appelons le paramètre, nous pouvons penser au contraste numérique des synaps entre les neurones dans le cerveau humain.

Les paramètres sont les poids (poids) et les écarts optimisés lors de l'entraînement du réseau nerveux artificiel (biases). Ces poids sont fixés et les relations significatives entre les mots sont stockées dans ces nombres. La capacité d'abstraction du modèle au fur et à mesure que le nombre de paramètres augmente, l'exécution logique et la résolution de problèmes complexes sont souvent augmentées; mais le coût matériel et le temps de retard requis en parallèle sont également repliés.

Étape: Comment réparer un modèle de langue?

Un grand modèle linguistique nécessite une ingénierie intensive des données et une puissance de traitement élevée qui prend des mois pour obtenir de zéro et vivre. Nous pouvons résumer le modèle de langue en 4 étapes principales :

Modèle de base (modèle de base)

Milliers de jeux GPU, apprentissage sans supervision (sans supervision)

3. Fine-tuning supervisé - SFT

Acquérir un format de dialogue pour modéliser avec des ensembles de données de questions et d'instructions

modèle assistant qui répond directement et logiquement aux questions posées

Ensembles de données de dialogue qualité, apprentissage vérifié (supervisé)

4. Alignement (alignement - RLHF/DPO)

Optimisation des réponses aux préférences humaines et aux règles de sécurité

Modèle utilisateur final sans danger, honnête et impartial (Modèle Instruct/Chat)

Apprendre à consolider la rétroaction humaine (RLHF)

1. Acquisition et nettoyage des données (prétraitement des données)

Tout commence par la navigation sur Internet: les sites Web sont collectés en scannant des magasins de code open source, des articles académiques, des livres et des forums. Cependant, les données Internet ne peuvent pas être utilisées directement; il est nécessaire de nettoyer sérieusement:

• Encore une fois (duplicate) le contenu est extrait.

• Les balises HTML et les tableaux de caractères non identifiés sont nettoyés.

• Les parties qui contiennent des expressions toxiques, haineuses et contiennent des données personnelles sont filtrées.

La qualité des données de formation détermine directement le succès du modèle. La règle de "si vous entrez" dans le monde de la science des données est également valable dans les grands modèles linguistiques.

2. Formation préliminaire (préformation)

La plus chère, la plus longue et la plus grande consommation d'énergie du processus est la plus élevée. Des milliers de semaines GPU de haute performance, fonctionnent parfois sans intervalle.

À ce stade, le modèle est formé comme non contrôlé (sans supervision). Le texte du modèle est donné mot en trilyons; certains mots du texte sont cachés et demandé de prédire le mot suivant du modèle. Le modèle fait des erreurs pour des milliards de fois, met à jour le poids des paramètres avec la ressemblance (répandage) et apprend la grammaire, le flux de phrase et la connaissance générale du monde au fil du temps. Il y a un «Modèle de base» (Modèle de base) qui n'agit pas encore comme assistant lorsque la formation préliminaire est terminée.

3. Fine-tuning supervisé - SFT

Le langage modèle de base n'est pas un bon assistant. Pour répondre à la question quand vous lui demandez "Où est la capitale de l'Allemagne?", il peut continuer sa question. Parce que c'est seulement pour étendre le texte que vous connaissez.

Dans l'étape SFT, le modèle offre des ensembles de données de qualité au format question-cevap:

• Utilisateur : Comment inverser la liste dans Python ?

• Assistant : list.reverse() méthode ou [::-1] vous pouvez utiliser la méthode de découpage.

Grâce à cette formation, le modèle apprend à répondre directement à une question, à une description de code ou à un résumé de texte.

4. Alignement (alignement : RLHF et DPO)

Bien que le modèle comprenne maintenant les instructions, il peut produire des résultats trompeurs ou offensants. Ici, à ce stade, l'homme entre en action. Guide d'intégration Hugging Face LLM RLHF détaillée dans des sources similaires (© Copyright 2018. Tous droits réservés.) et DPO (Optimisation de la préférence directe) les méthodes s'appliquent.

L'étiqueteur humain indique le plus sûr et le plus précis en comparant les réponses alternatives produites par le modèle. Le modèle commence à fournir des réponses conviviales, impartiales et inoffensives en apprenant ces retours avec le mécanisme de récompense/ceza. D'autre part, tester la fiabilité de ces réponses produites par les modèles et la précision réelle Système SAFE DeepMind mécanismes de contrôle automatiques tels que la mise en service et la réduction du risque d'hallucination.

Personnaliser les modèles et le monde des développeurs

Nous ne sommes pas seulement dépendants des services cloud des entreprises technologiques géantes pour utiliser de grands modèles linguistiques de nos jours. Avec la croissance de l'écosystème open-source, les développeurs peuvent exécuter des niveaux 8-bit ou 4-bit grâce aux techniques de quantification.

LORAAdaptation à faible taux) telles que les techniques de réglage fin par paramètre (PEFT) ne sont possibles que pour produire des modèles verticaux spéciaux pour les institutions en mettant à jour une petite couche d'adaptateur au lieu de recycler tous les modèles énormes. Pour les ingénieurs qui veulent réaliser cette conversion dans leurs propres projets Formations sur l'écosystème et le développeur LLM Accueil, modèles API, bibliothèques open source et RAG (Génération augmentée par récupération) C'est un rôle essentiel dans le mélange avec les architectures.

Les grands modèles de langage ne sont pas une conscience magique; les systèmes d'optimisation massive qui transforment l'héritage écrit humain en poids mathématiques. La tokenisation est la première étape pour saisir la logique de préformation et d'alignement, non seulement en utilisant ces outils, en les gérant et en intégrant des projets.