Модернизация малых языковых моделей (SLM)

Концепция «так хороша, если она так велика в течение длительного времени в мире искусственного интеллекта». Огромные языковые модели с сотнями миллиардов параметров, высокими затратами на серверы и огромным энергопотреблением, когда вынудили бюджет компании, на сцену вышел дробный игрок: Small Language Models. Эти модели, работающие на смартфонах, ноутбуках и локальных серверах с несколькими миллиардами параметров, не только снижают затраты, но и устанавливают новый стандарт конфиденциальности данных и скорости отклика.

Что такое модель малого языка и как ее отличить от модели большого языка?

Малые языковые модели — это архитектуры искусственного интеллекта, оптимизированные для работы с высокой точностью в определенных задачах, обычно с величиной от 1 до 15 миллиардов параметров. GPT-4 или Claude 3.5 с сотнями миллиардов параметров Основное отличие от таких огромных систем, как Sonnet, заключается в том, что количество параметров уменьшает эту радикальную шкалу.

LLM выступают в качестве общих экспертов по культуре, пытаясь извлечь всю информацию в мире, в то время как SLM работают как углубленные частные эксперты в определенной области. Уменьшенное количество параметров уменьшает объем памяти модели и позволяет работать в стандартном потребительском оборудовании без необходимости использования сложных центров обработки данных. Технические детали Сравнение ChatGPT и других языковых моделей Вы можете просмотреть.

Как SLM-технологии обеспечивают компаниям преимущества в затратах и энергии?

Для запуска языковых моделей Devasa необходимы тысячи дорогих графических процессоров (GPU). Это создает как счета облачных провайдеров, так и серьезное потребление электроэнергии и энергии охлаждения. Для каждого поиска или текстового производства компании, центы, которые не тратятся на Mercedes, представляют собой устойчивую финансовую таблицу в массовом использовании.

Малые языковые модели значительно снижают нагрузку на транзакции. Например, модель с 3,8 млрд параметров может работать на чипе NPU (Nöral Trading Unit) одной потребительской экранной карты или даже ноутбука. Эти компании API Снижает зависимость, снижает затраты сервера до 80% и минимизирует углеродный след.

Как работа Edge AI и Device Top влияет на конфиденциальность данных?

Модели, работающие непосредственно на устройстве без подключения к Интернету, обеспечивают прорыв в конфиденциальности данных. Это серьезный риск отправки данных на внешние серверы или облачные сервисы в отраслях, где обрабатываются конфиденциальные данные, такие как здравоохранение, финансы или право.

Благодаря SLM данные обрабатываются, не покидая пользовательского устройства. Это положит конец системам искусственного интеллекта, которые работают, даже если интернет прерван; в самолетах, шахтах или местах, где нет покрытия сети. Кроме того, время отклика уменьшается до миллисекунд, так как время возврата задержки на облачный сервер устраняется.

Phi-3, Llama 3 8B и Gemma Какая область?

Промышленные гиганты делают большие шаги в малой модельной гонке. Хотя разработка больших языковых моделей формировалась вокруг большего количества параметров и больших инфраструктур в течение длительного времени, фокус начал меняться. Такие компании, как Microsoft, Meta и Google, разрабатывают модели, которые могут обеспечить высокую производительность при более низком потреблении сварки. Такой подход позволяет как отдельным разработчикам, так и учреждениям использовать искусственный интеллект с более доступными затратами.

Разработчик: Microsoft Phi-3 MiniНесмотря на наличие только 3,8 миллиарда параметров, понимание языка показывает замечательную производительность в таких областях, как логические рассуждения и создание кода. Модель, согласно техническому отчету Microsoft, предлагает легкую структуру, которая может работать на мобильных устройствах, показывая результаты, которые могут конкурировать с гораздо более крупными моделями в некоторых измерениях. В частности, локальные приложения ИИ выделяются как важная альтернатива для слабо оснащенных систем и передовых решений ИИ.

Meta с открытым исходным кодом Llama 3 8B внимание к его производительности, а также к его сильной экосистеме. Семейство Llama 3 быстро принимается исследователями и разработчиками, открытый исходный код находится в центре мира искусственного интеллекта. Благодаря моделям весов и инструментам разработки, опубликованным Meta, Llama 3 стала одной из наиболее предпочтительных моделей для тонкой настройки, систем RAG, агентов искусственного интеллекта и корпоративных приложений.

Google - это опыт, полученный от технологии Gemini для открытия мира моделей. Тэги Семья предлагает другой подход. Модели Gemma, которые выпускаются в меньших размерах, разработаны с эффективностью и доступностью. Gemma, важная часть стратегии открытых моделей для исследовательского сообщества Google, особенно считается привлекательным вариантом для разработчиков с академическими исследованиями, экспериментальными проектами и ограниченными аппаратными ресурсами. Google расширяет языковую поддержку и улучшает интеллектуальные возможности в следующих версиях семейства моделей.

По сравнению с этими тремя моделями каждая из них ориентирована на различные приоритеты. Phi-3 фокусируется на обеспечении своей производительности с наименьшей возможной стоимостью оборудования; Llama 3 8B выделяется широкой поддержкой сообщества, экосистемой транспортных средств и настраиваемой структурой. Gemma уделяет внимание архитектуре легкого веса, исследовательскому подходу и Google от технологий искусственного интеллекта. Llama 3 является предпочтительным в проектах с открытым исходным кодом и корпоративных настройках, предлагая альтернативу как исследователям, так и разработчикам со сбалансированным расположением между этими двумя подходами.

Как экосистема искусственного интеллекта, конкуренция теперь формируется не только за счет размера модели, но и за счет эффективности, доступности и простоты использования. Эти три языковые модели являются одними из самых замечательных примеров этого преобразования.

Как конвертировать синтетические данные и качественные данные в SLM-период?

При падении параметра модели в старое понимание интеллект и способность к пониманию снижались напрямую. Основным нововведением в этой ситуации стали «вери-данные» и строгие методы фильтрации данных. Как и в серии Phi Microsoft, модели начали обучать высококачественным синтетическим текстам, которые производятся «книгами обучения» или крупными моделями, а не случайными и неквалифицированными данными Интернета.

Благодаря продвинутой фильтрации данных, небольшие модели могут получить навыки логического выполнения и написания кода с гораздо меньшими параметрами, в отличие от необученных огромных моделей.

Будут ли великие модели полностью потеряны?

Рост SLM не означает конец LLM. Напротив, архитектура искусственного интеллекта является домом для гибридной структуры. В будущем системы будут направлять поступающие запросы на малую и быструю модель. Если ответ требует стандартного резюме, компенсации по электронной почте или простой классификации, процесс будет завершен на устройстве.

Только глубокий академический анализ будет перенесен в большую языковую модель в облаке запросов, когда вам нужно запросить многоступенчатые сложные рассуждения или огромные базы данных. Эта направляющая архитектура предлагает наиболее эффективный баланс с точки зрения стоимости и производительности.

Почему разработчики и исследователи дискретны в SLM?

Дискуссии вокруг моделей малых языков стали одной из самых горячих тем в мире искусственного интеллекта. В частности, такие модели, как Phi-3, Gemma и Llama 3 8B, выполняют высокую производительность, исходя из ожидаемого: «Нужны ли вам гигантские модели из реальности?» Однако сообщество разработчиков не имеет полного представления об этом среди исследователей и корпоративных пользователей.

С одной стороны, разработчики с открытым исходным кодом и корпоративные технологические команды, защищающие будущее, будут наиболее распространенными решениями для искусственного интеллекта. Согласно этому мнению, каждая компания GPT-4 Или нет необходимости использовать такие модели. Большая часть учреждений имеет более узкие обширные потребности, такие как анализ документов, системы поддержки клиентов, корпоративные поисковые системы, производство контента, отчетность и основные задачи кодирования. Несколько миллиардов параметров в этих сценариях часто могут обеспечить достаточную производительность.

Самыми сильными аргументами защитников являются стоимость, конфиденциальность и контроль. При создании значительных рисков в некоторых секторах, которые отправляются сторонним поставщикам услуг в облачных системах, модели, работающие локально, обеспечивают серьезное преимущество с точки зрения доминирования данных. В частности, учреждения, работающие в области финансов, здравоохранения, обороны и государственного сектора, приближаются к решениям, которые позволяют данным оставаться в их собственной инфраструктуре. Также подчеркивается, что в долгосрочной перспективе инвестиции в SLM более устойчивы, когда основные модели учитывают затраты на использование API.

Другое мнение утверждает, что будущее искусственного интеллекта будет проходить через экосистемы, которые являются не очень большими моделями, а от специализированных малых моделей. В будущем вместо одной гигантской модели будет работать большое количество небольших моделей, специально оптимизированных для таких областей, как кодирование, обслуживание клиентов, анализ данных или право. Таким образом, увеличится как потребление энергии, так и производительность на основе задач.

В свою очередь, исследователи и академические круги применяют более осторожный подход к малым моделям. С принятием значительного прогресса SLM в последние годы, эти модели все еще считают, что они имеют заметные ограничения. В частности, очень ступенчатые логические интересы, сложные процессы решения проблем, сценарии, требующие углубленного рассуждения и длительного отслеживания контекста, указывают на то, что превосходство больших моделей продолжается.

По мнению исследователей, небольшие модели способны выполнять впечатляющие показатели в частых задачах в образовательных данных, а также быстрее ошибаться в необычных или неожиданных сценариях. Производство галлюцинаций проявляется среди неприятностей при отсутствии неправильных результатов и соблюдении сложных инструкций. Особенно выражено, что колебания производительности в сценариях многоязычного использования и языках с низким исходным кодом более выражены.

Третья точка зрения, которая все больше укрепляется в сообществе, не дополняет большие и малые модели. Согласно этому подходу, большинство пользователей будут продолжать использовать большие модели в задачах, требующих высокой когнитивной способности, таких как научные исследования, передовые рассуждения, сложная разработка программного обеспечения или многозадачные системы. С другой стороны, сектор движется к гибридному будущему, где модели разных масштабов работают вместе, отходя от концепции «делает каждую модель».

Дискуссия в сообществе больше не «маленькие модели, большие модели?» из вопроса «какой размер модели для задачи более эффективен?» сосредоточена на вопросе. Появление новых моделей SLM играет важную роль в том, что искусственный интеллект становится не только более мощным, но и более доступным, экономичным и распространенным. Поэтому, по мнению многих экспертов, фактором, определяющим успех в ближайшие годы, является не только размер модели; стоимость, эффективность, настраиваемость и баланс фактической стоимости использования в мире.