Почему критический формат сообщений в коммуникации агентов LLM?

Большие языковые модели (LLM) - давняя тема в экосистеме: различные таланттек Агенты ИИ При совместной передаче информации, Формат сообщения Действительно ли это имеет значение? Закрыть Выпущено в ArXiv Работа под названием «Верный, корректирующий примечание: эффекты формата сообщений в реле мульти-оперативных агентов являются зависимыми от уровня» подробно рассматривает этот вопрос. Исследование показывает, что эффекты формата сообщения при передаче многоступенчатой информации между агентами LLM варьируются в зависимости от силы агента (катмаа), и это дает критические результаты для сложных рабочих процессов искусственного интеллекта.

Формат власти в агентной коммуникации

Агенты LLM - это передовые системы искусственного интеллекта, которые не только производят ответ, составляют многоэтапные планы, используют различные инструменты (веб-поиск, запуск кода, вызовы API) и оценивают каждый шаг для планирования следующего шага. Проведение сложных рабочих процессов, таких как автономность, надежность информационного потока между ними жизненно важна. Согласно основным выводам исследования, влияние формата сообщения на передачу информации зависит от «слоя» используемого агента.

Исследование показало, что сильные агенты, работающие под лояльными инструкциями по передаче, были переданы почти без потерь; известное искажение информации «крэйпер-ухо» (телефонный сбой). Дополнительная когнитивная нагрузка на каждом этапе, при этом точность уровня формата не изменяется в пределах +/-1,8 пункта, себестоимость продукции выросла на 24-53%. Это указывает на то, что мощные агенты могут успешно передавать данные, несмотря на ограничения формата.

Как изменить формат сообщений у бедных агентов?

Исследование также иллюстрирует ошеломляющие различия, которые появляются при использовании слабого 1,5-миллиардного параметрического агента. В этом сценарии шестиступенчатые форматы отзыва показали в 8,7 раза большее распределение (от 2,3 балла до 20,5 балла). Это широкое распространение основано на противоположных механизмах, таких как «кодированная цена» и «сопротивление слотированию», вызванное твердыми форматами. В результате рейтинг формата изменился во время передачи, и выбор формата сообщения для слабых агентов имеет решающее значение.

Когда неправильное значение вводится в передачу, это значение защищено от формата до последнего шага, на 83%-100 цепей. Этот вывод был тесно связан с фактической способностью удержания стоимости каждого формата, и никаких побочных повреждений не было обнаружено. Эта ситуация показывает, что структура предоставляет не код коррекции ошибок, а «обширную, погрешность локализованного канала».

Важность выбора формата сообщения и текущих дискуссий

Важность формата сообщений в многоступенчатой коммуникации между LLM обсуждалась с двумя различными мнениями в литературе. Группа работ утверждает, что точность сконфигурированных сообщений снижает затраты (оптимизация формата), другие указывают на то, что производится лог структуры (ограничение формата). Тем не менее, новое исследование подчеркивает, что «точность прорыва» или «лояльность сети», а не одноразовое качество производства в многоступенчатых передачах.

Рекомендуется максимизировать производительность LLM и снизить частоту ошибок в инжиниринге, структурированном в открытых и конкретных инструкциях. Однако могут возникать проблемы согласованности между моделями; например, антропный Модели могут предлагать XML-метки, OpenAI, стиль Markdown. Результаты статьи указывают на то, что выбор формата сообщения должен следовать за самым слабым реле в «линии Бору», то есть общая производительность системы ограничена форматом, с которым может справиться самый слабый агент в цепи связи.

Часто задаваемые вопросы (FAQ)

Почему формат сообщений важен для агентов LLM?

Формат сообщения может повлиять на то, насколько точна и полна информация агентов искусственного интеллекта. В частности, правильный выбор формата в многоэтапных рабочих процессах может уменьшить потерю информации.

Влияют ли сильные и слабые LLM-агенты на формат сообщений?

Нет. Мощные LLM-агенты сохраняют высокую точность передачи в различных форматах сообщений, более мелкие и маломощные модели гораздо более подвержены влиянию, чем изменения формата.

Какие форматы сообщений были рассмотрены в исследованиях?

Были сопоставлены производительность различных структурированных форматов сообщений, таких как свободный текст, Markdown и жесткий ключ JSON.

Является ли формат JSON лучшим вариантом?

Нет. В некоторых случаях JSON может ограничить распространение ошибок, но не является лучшим вариантом для каждой модели. Выбор формата должен определяться в зависимости от мощности самого слабого агента, используемого в системе.

Что такое «Телефонная игра»?

Это концепция, которая выражает ухудшение информации, передаваемой между многими агентами. Исследование показывает, что этот эффект у сильных агентов LLM не очень виден.

Какова важность этого исследования для приложений искусственного интеллекта?

Исследование показывает, что формат связи между агентами имеет решающее значение с точки зрения производительности, стоимости и надежности, а не только выбора модели, но и формата связи между агентами.

Влияет ли формат сообщения на стоимость производства?

Да. При сохранении точности передачи информации в сильных моделях некоторые форматы могут увеличить себестоимость производства примерно с 24 до 5%.

Каково основное предложение для исследований?

При выборе формата сообщения наиболее мощная модель должна быть предпочтительнее в формате, где может легко работать самый слабый агент в цепи связи. Такой подход может повысить общую надежность многозадачных систем.