Pourquoi le format de message critique dans LLM Agent Communication?

Grands modèles linguistiques (LLM) est un sujet de longue date dans l'écosystème: différents talents Accueil Agents de l'IA lors du transfert d'informations ensemble, format du message Ça fait vraiment une différence ? Fermer publié dans arXiv Le travail intitulé «Fidèle, note corrective: Message-Format Effets dans les relais d'agents multi-hop sont de niveau-dépendant» examine cette question en profondeur. La recherche révèle que les effets du format de message dans la transmission d'informations en plusieurs étapes entre les agents LLM varient en fonction de la force de l'agent (katmaa) et cela donne des résultats critiques pour les flux de travail complexes de l'intelligence artificielle.

Format Puissance dans la communication d'agent

Les agents LLM sont des systèmes avancés d'intelligence artificielle qui non seulement produisent une réponse, font des plans en plusieurs étapes, utilisent divers outils (recherche sur le Web, exécution de code, appels d'API), et évaluent chaque étape pour planifier l'étape suivante. La fiabilité de la circulation de l'information entre eux est essentielle si l'on procède à des flux de travail complexes, par exemple de manière autonome. Selon les conclusions fondamentales de la recherche, l'effet du format de message sur le transfert de l'information dépend de la « couche » de l'agent utilisé.

L'étude a montré que des agents puissants travaillant sous les instructions de transfert loyales ont été transférés presque d'une manière sans perte de connaissance; la distorsion connue de l'information "oreille de gratteur" (crash de jeu téléphonique). La charge cognitive supplémentaire à chaque étape, alors que la précision du niveau de format ne change pas à +/-1,8 points, le coût de production a augmenté de 24-53%. Cela indique que des agents puissants peuvent transmettre des données avec succès, malgré les restrictions de format.

Comment modifier la performance de format de message chez les agents pauvres?

La recherche illustre également des différences étonnantes qui apparaissent lorsqu'on utilise un agent paramètre faible de 1,5 milliard. Dans ce scénario, les formats de rendement des rappels en six étapes ont montré une distribution 8,7 fois plus importante (de 2,3 points à 20,5 points). Cette large distribution est guidée par des mécanismes opposés tels qu'un "prix codé" et une "résistance au slot" causée par des formats solides. Par conséquent, le classement des formats a changé au cours du transfert et la sélection du format des messages pour les agents faibles est critique.

Lorsqu'une valeur fausse est injectée dans un transfert, cette valeur est protégée du format à la dernière étape, à 83%-100 des chaînes. Cette constatation est étroitement liée à la capacité réelle de conservation de la valeur de chaque format et aucun dommage latéral n'a été détecté aux faits voisins. Cette situation montre que la structure ne fournit pas en tant que code de correction d'erreur, plutôt "extensive, erreur un canal localisé".

L'importance de la sélection du format des messages et des discussions actuelles

L'importance du format de message dans la communication en plusieurs étapes entre les LLM a été discutée avec deux opinions différentes dans la littérature. Un groupe de travail soutient que l'exactitude des messages configurés réduit le coût (optimisation du format), d'autres indiquent que la production du journal de structure (restriction du format). Toutefois, la nouvelle recherche souligne que la « précision de rupture » ou la « fidélité de réseau » plutôt que la qualité de production unique dans les transferts en plusieurs étapes.

Il est recommandé de maximiser les performances de LLM et de réduire les taux d'erreurs en ingénierie (ingénierie rapide), structurées en instructions ouvertes et spécifiques. Cependant, il peut y avoir des problèmes de cohérence entre les modèles; par exemple, Anthropic Les modèles peuvent suggérer des étiquettes XML, OpenAI, style Markdown. Les résultats de l'article indiquent que le choix du format de message devrait suivre le relais le plus faible de la ligne "boru", ce qui signifie que la performance globale du système est limitée au format auquel l'agent le plus faible de la chaîne de communication peut faire face.

Foire aux questions (FAQ)

Pourquoi est-il important pour le format de message dans les agents LLM?

Le format du message peut influer sur la façon dont l'information des agents d'intelligence artificielle peut être transmise. En particulier, la sélection des formats appropriés dans les flux de travail en plusieurs étapes peut réduire la perte d'information.

Les agents LLM forts et faibles sont-ils affectés de la même façon par le format du message?

C'est pas vrai. Les puissants agents LLM selon la recherche conservent une grande précision de transfert dans différents formats de message, les modèles plus petits et de faible capacité sont beaucoup plus touchés que les changements de format.

Quels formats de messages ont été examinés dans le cadre de la recherche?

Les performances de différents formats de messages structurés tels que le texte libre, Markdown et JSON à clé dure ont été comparées.

Le format JSON est-il toujours la meilleure option?

C'est pas vrai. JSON peut limiter la propagation des erreurs dans certains cas, mais pas la meilleure option pour chaque modèle. Le choix du format doit être déterminé en fonction de la capacité de l'agent le plus faible utilisé dans le système.

Qu'est-ce que "Crash de jeu téléphonique" ?

C'est un concept qui exprime la détérioration d'une information transmise entre de nombreux agents. La recherche révèle que cet effet chez les agents puissants de LLM n'est pas très visible.

Quelle est l'importance de cette recherche pour les applications d'intelligence artificielle?

L'étude montre que le format de communication entre les agents est critique en termes de performance, de coût et de fiabilité, non seulement la sélection du modèle, mais aussi le format de communication entre les agents.

Le format du message affecte-t-il le coût de production?

Oui. Bien que la précision du transfert de l'information dans des modèles solides selon la recherche soit maintenue, certains formats peuvent augmenter le coût de production d'environ 24 à 5%.

Quelle est la principale proposition de recherche?

Lors de la sélection du format de message, le modèle le plus puissant devrait être préféré dans un format où l'agent le plus faible de la chaîne de communication peut facilement fonctionner. Cette approche peut améliorer la fiabilité globale des systèmes multitâches.