Mise à niveau des modèles de petites langues (SLM)

Le concept de "si bon s'il est si grand pendant longtemps dans le monde de l'intelligence artificielle. Les énormes modèles de langue avec des centaines de milliards de paramètres, les coûts élevés du serveur et la consommation d'énergie massive, quand forcé le budget de la société, un joueur fractionnaire est entré sur la scène: les modèles de langue petite. Ces modèles travaillant sur les smartphones, les ordinateurs portables et les serveurs locaux avec plusieurs milliards de paramètres non seulement réduisent les coûts, mais aussi établissent une nouvelle norme en matière de confidentialité des données et de vitesse de réponse.

Qu'est-ce qu'un petit modèle de langue et comment se séparer des grands modèles de langue?

Les petits modèles linguistiques sont des architectures d'intelligence artificielle optimisées pour fonctionner avec une grande précision dans certaines tâches, généralement avec une magnitude allant de 1 milliard à 15 milliards de paramètres. GPT-4 ou Claude 3.5 avec des centaines de milliards de paramètres La principale différence avec d'énormes systèmes comme Sonnet est que le nombre de paramètres réduit cette échelle radicale.

Les LLM agissent en tant qu'experts culturels généraux essayant d'extraire toutes les informations dans le monde, tandis que les SLM travaillent comme des experts privés approfondis dans un domaine spécifique. La diminution du nombre de paramètres réduit l'empreinte mémoire du modèle et permet le fonctionnement dans le matériel consommateur standard sans avoir besoin de centres de données complexes. Détails techniques Comparaison de ChatGPT et d'autres modèles de langage Vous pouvez parcourir.

Comment les GDT procurent-elles aux entreprises un avantage sur le plan des coûts et de l'énergie?

Des milliers de processeurs graphiques coûteux (GPU) sont nécessaires pour exécuter des modèles de langue Devasa. Cela crée à la fois des factures de fournisseurs de cloud et une consommation importante d'électricité et de refroidissement. Pour chaque recherche ou production de texte d'entreprises, les centimes ne dépensent pas sur la Mercedes, présentent une table financière durable en utilisation massive.

Les petits modèles linguistiques réduisent significativement la charge transactionnelle. Par exemple, un modèle avec 3,8 milliards de paramètres peut fonctionner sur la puce NPU (Nöral Trading Unit) d'une carte d'écran unique ou même d'un ordinateur portable. Ces entreprises API Réduit la dépendance, réduit les coûts des serveurs jusqu'à 80 % et minimise l'empreinte carbone.

Comment l'IA Edge et l'appareil sont-ils les plus efficaces?

Les modèles fonctionnant directement sur l'appareil sans nécessiter de connexion Internet constituent une percée dans la confidentialité des données. Il s'agit d'un risque grave d'envoi de données à des serveurs externes ou à des services en nuage dans des secteurs où des données sensibles sont traitées, comme la santé, les finances ou le droit.

Grâce aux SLM, les données sont traitées sans quitter l'appareil utilisateur. Cette fin des systèmes d'intelligence artificielle qui fonctionnent même si Internet est interrompu; dans les aéronefs, les sites miniers ou les endroits où il n'y a pas de couverture réseau. De plus, les temps de réponse diminuent à millisecondes, car le délai de retour au serveur cloud est éliminé.

Phi-3, Llama 3 8B et Gemma Quelle zone est présentée?

Les géants de l'industrie font de grands pas dans la course de petits modèles. Bien que l'élaboration de grands modèles linguistiques s'articule depuis longtemps autour d'un plus grand nombre de paramètres et d'infrastructures plus grandes, le point de mire a commencé à changer. Des entreprises comme Microsoft, Meta et Google se tournent vers le développement de modèles qui peuvent offrir des performances élevées avec une faible consommation de soudage. Cette approche permet aux développeurs et aux institutions d'utiliser l'intelligence artificielle avec des coûts plus accessibles.

Développé par Microsoft Phi-3 MiniBien que ne disposant que de 3,8 milliards de paramètres, la compréhension linguistique montre des performances remarquables dans des domaines comme le raisonnement logique et la production de code. Le modèle selon le rapport technique de Microsoft offre une structure légère qui peut fonctionner sur les appareils mobiles tout en révélant des résultats qui peuvent concurrencer des modèles beaucoup plus grands dans certaines mesures. Plus précisément, les applications locales d'IA se distinguent comme une alternative importante pour les systèmes peu équipés et les solutions d'IA bord.

Meta offre en open source Llama 3 8B attention à ses performances ainsi qu'à son écosystème fort. La famille Llama 3 est rapidement adoptée par les chercheurs et les développeurs, la source ouverte est située au centre du monde de l'intelligence artificielle. Grâce aux poids et outils de développement des modèles publiés par Meta, Llama 3 est devenu l'un des modèles les plus préférés pour le réglage fin, les systèmes RAG, les agents d'intelligence artificielle et les applications d'entreprise.

Google est l'expérience acquise grâce à la technologie Gemini pour ouvrir le monde des modèles Étiquettes La famille offre une approche différente. Les modèles Gemma, qui sont libérés en petites tailles, sont conçus avec efficacité et accessibilité. Gemma, une partie importante de la stratégie de modèle ouvert pour la communauté de recherche de Google, est particulièrement considérée comme une option attrayante pour les développeurs avec des études universitaires, des projets expérimentaux et des ressources matérielles limitées. Google élargit le support linguistique et améliore les capacités de renseignement dans les prochaines versions de la famille de modèles.

Par rapport à ces trois modèles, chacun d'entre eux est perçu comme répondant à des priorités différentes. Phi-3 se concentre sur la prestation de ses performances avec le moindre coût matériel possible; Llama 3 8B se distingue par un large soutien communautaire, un écosystème de véhicules et une structure personnalisable. Gemma prête attention à l'architecture du poids léger, à l'approche propice à la recherche et au Google des technologies d'intelligence artificielle. Avec une autre déclaration, Llama 3 est préféré dans les projets open source et les personnalisations d'entreprise, tout en offrant une alternative aux chercheurs et développeurs avec un emplacement équilibré entre ces deux approches.

En tant qu'écosystème d'intelligence artificielle, la concurrence est maintenant façonnée non seulement par la taille du modèle, mais aussi par l'efficacité, l'accessibilité et la facilité d'utilisation. Ces trois modèles linguistiques sont parmi les exemples les plus remarquables de cette conversion.

Comment convertir des données synthétiques et des données de qualité Période de GDT?

Lorsque vous abandonnez le paramètre d'un modèle dans l'ancienne compréhension, la capacité d'intelligence et de compréhension a été réduite directement. L'innovation fondamentale de cette situation a été les "véri data" et les techniques strictes de filtrage des données. Comme dans la série Phi de Microsoft, les modèles ont commencé à être enseignés des textes synthétiques de haute qualité, qui sont produits par des "livres de formation" ou de grands modèles, plutôt que les données aléatoires et non qualifiées d'Internet.

Avec le filtrage avancé des données, les petits modèles peuvent acquérir des compétences d'exécution logique et d'écriture de code avec beaucoup moins de paramètres, contrairement aux modèles énormes non formés.

Les grands modèles vont - ils vous perdre totalement?

La montée de la GDT ne met pas fin aux GDT. Au contraire, l'architecture de l'intelligence artificielle abrite une structure hybride. Dans les futurs systèmes guideront les demandes entrantes vers un modèle petit et rapide. Si la réponse nécessite un sommaire standard, une compensation par courriel ou une classification simple, le processus sera complété sur l'appareil.

Seule l'analyse académique profonde sera transférée au grand modèle de langue dans le cloud request lorsque vous aurez besoin de demander sur le raisonnement complexe à plusieurs étapes ou d'énormes bases de données. Cette architecture directrice offre l'équilibre le plus efficace en termes de coûts et de performances.

Pourquoi les développeurs et les chercheurs sont-ils discrets dans les GDT?

Les discussions autour des petits modèles de langage sont devenues l'un des sujets les plus chauds du monde de l'intelligence artificielle. Plus précisément, les modèles tels que Phi-3, Gemma et Llama 3 8B réalisent des performances élevées à partir des attentes, « Avez-vous besoin de modèles gigantesques de la réalité ? » ont déplacé la question à nouveau. Cependant, la communauté des développeurs n'a pas une vision complète de cette question parmi les chercheurs et les utilisateurs de l'entreprise.

D'un côté, les développeurs open-source et les équipes technologiques d'entreprise défendent l'avenir seront les solutions d'intelligence artificielle les plus courantes. Selon cet avis, chaque entreprise GPT-4 ou pas besoin d'utiliser des modèles très grands comme. La grande partie des institutions a des besoins plus restreints tels que l'analyse de documents, les systèmes de soutien à la clientèle, les moteurs de recherche d'entreprise, la production de contenu, les rapports et les tâches de codage de base. Quelques milliards de modèles de paramètres dans ces scénarios sont souvent en mesure d'offrir des performances suffisantes.

Les arguments les plus puissants des défenseurs sont le coût, la vie privée et le contrôle. Lorsqu'ils créent des risques importants dans certains secteurs qui sont envoyés à des fournisseurs de services tiers dans des systèmes basés sur le cloud, les modèles travaillant localement offrent un avantage sérieux en termes de domination des données. Plus précisément, les institutions actives dans les domaines des finances, de la santé, de la défense et du secteur public se rapprochent des solutions qui permettent aux données de rester dans leur propre infrastructure. Il est également souligné que les GDT ont un investissement beaucoup plus durable à long terme, lorsque les grands modèles considèrent les coûts d'utilisation de l'API.

Une autre opinion soutient que l'avenir de l'intelligence artificielle passera par les écosystèmes, qui ne sont pas de très grands modèles, mais de petits modèles spécialisés. Selon cette approche, au lieu d'un modèle géant unique à l'avenir, il travaillera avec un grand nombre de petits modèles spécialement optimisés dans des domaines tels que le codage, le service à la clientèle, l'analyse de données ou le droit. Ainsi, la consommation d'énergie et la performance axée sur les tâches augmenteront.

À leur tour, les chercheurs et les milieux universitaires adoptent une approche plus prudente sur les petits modèles. Avec l'adoption de SLM, des progrès significatifs ces dernières années, ces modèles continuent de considérer qu'ils ont des limites marquées. Plus particulièrement, des intérêts logiques, des processus complexes de résolution de problèmes, des scénarios exigeant un raisonnement avancé et un long suivi du contexte indiquent que la supériorité des grands modèles se poursuit.

Selon les chercheurs, les petits modèles sont capables d'effectuer des performances impressionnantes dans des tâches fréquentes dans les données éducatives, ainsi que des erreurs plus rapides dans des scénarios inhabituels ou inattendus. La production d'hallucination est montrée parmi les problèmes en l'absence de résultats inappropriés et suivre des instructions complexes. Il est particulièrement indiqué que les fluctuations des performances dans les scénarios d'utilisation multilingue et les langues à faible source sont plus marquées.

Un troisième point de vue, qui s'est de plus en plus renforcé dans la collectivité, ne vient pas compléter les grands et les petits modèles. Selon cette approche, la majorité des utilisateurs continueront d'utiliser de grands modèles dans des tâches exigeant une capacité cognitive élevée, comme la recherche scientifique, le raisonnement avancé, le développement de logiciels complexes ou des systèmes multitâches. Avec une autre expression, le secteur se dirige vers un avenir hybride où les modèles de différentes échelles travaillent ensemble en s'éloignant du concept de « fait chaque modèle ».

La discussion au sein de la collectivité n'est plus « de petits modèles, de grands modèles? » selon la question, « quelle taille de modèle pour la tâche est plus efficace? » est axée sur la question. La montée en puissance de nouveaux modèles de GDT joue un rôle important dans l'intelligence artificielle non seulement plus puissante, mais aussi de plus en plus accessible, économique et commune. Par conséquent, selon de nombreux experts, l'élément qui déterminera le succès dans les années à venir n'est pas seulement la taille du modèle, le coût, l'efficacité, personnalisable et l'équilibre de la valeur réelle de l'utilisation mondiale.