Что такое модель большого языка (LLM), как получить образование?

Каждый день мы общаемся с моделями ChatGPT, Claude или Llama с открытым исходным кодом. Мы печатаем код, обобщаем сложные тексты, иногда обсуждаем техническую или философскую тему, о которой мы только задумываемся. Снаружи экран стоит, как есть сознание, которое думает, как человек на другом конце экрана, понять, что он говорит. Тем не менее, за занавесом нет магии; есть огромное количество данных, огромная вычислительная мощность и статистические учеты вероятности. Итак, какова модель большого языка, которая меняет мир технологий за последние несколько лет и как эти системы обучаются с нуля?

Что такое LLM? Это больше, чем машина для тонкого завершения?

Английский Angle Модель большого языка Что такое LLM, самый бережливый ответ на вопрос: Изображения между текстовыми данными представляют собой модели глубокого обучения, предназначенные для прогнозирования следующего слова путем изучения правил грамматики и концептуальных отношений.

Подумайте об автоматической функции завершения на клавиатуре вашего телефона. Когда вы пишете «Semin ofise...», у вас есть предложение «Я иду». LLM — это огромные версии, которые подпитывают эту логику интернет-данными Petabaytlarca и обрабатывают миллиарды правил одновременно. Основное различие заключается в способности строить масштаб и контекст.

Основа этой трансформации была опубликована в 2017 году и заменила корень обработки естественного языка (NLP). Нужно все, что нужно На основе статьи. Исследователи разработали архитектуру Transformer, которая читает контекст всех предложений одновременно, а не обрабатывает слова в порядке. Таким образом, модель смогла проследить связь между следующим замиром с селфи в начале текста. Сегодня в точке невесты, для профессионалов, которые хотят получить конкурентное преимущество в мире программного обеспечения. доминирующие технологии LLM Не только плюс, он превратился в основное инженерное требование.

Основные структурные камни: что такое токен и параметр, что выражать?

Чтобы понять, как работает LLM, необходимо знать, как модели воспринимают мир. Компьютеры не читают буквы или слова, как мы; они работают с числами.

Что такое токен?

Поскольку компьютеры не могут работать напрямую, тексты делятся на мельчайшие значимые части, называемые «токеном». Практический ответ на вопрос о том, что такое токен; иногда одно слово, иногда хес или корень слова, иногда является признаком указания.

Например, текст из 1000 слов на английском языке соответствует в среднем 1300-1400 токенов. Такие слова, как турецкий, можно разделить на несколько различных токенов, так как одно слово получает более одного дополнительного (например, от нас). Стоимость обучения модели рассчитывается непосредственно через эти числа токенов непосредственно из API-комиссии и контекстного окна.

Что такое параметр?

Такие слова, как «8B», «70B» или «405B», которые мы говорим о моделях, указывают на размер модели. Когда мы называем этот параметр, мы можем думать о цифровом контрасте синапсов между нейронами в человеческом мозге.

Параметрами являются веса (весы) и отклонения, оптимизированные при тренировке искусственной нервной сети (биазы). Эти веса установлены, и смысловые отношения между словами хранятся в этих числах. Возможность абстрагироваться от модели по мере увеличения количества параметров, логического исполнения и решения сложных задач часто увеличивается, но параллельно складывается и аппаратная стоимость и время задержки.

Шаг: как исправить языковую модель?

Большая языковая модель требует интенсивной обработки данных и высокой вычислительной мощности, что занимает месяцы, чтобы получить с нуля и жить. Мы можем обобщить языковую модель в 4 основных этапа:

Базовая модель (Basic Model) — структура изучаемого языка и общие мировые знания

Тысячи наборов GPU, неконтролируемое (неконтролируемое) обучение

3. Надзор за тонкой настройкой - SFT

Получение формата диалога для моделирования с помощью наборов данных вопросов-cevap и инструкций

Помощник модели, который отвечает прямо и логически на заданные вопросы.

Наборы данных диалога качества, аудируемое обучение (контролируемое)

4. Выравнивание (Выравнивание - RLHF/DPO)

Оптимизация реагирования на предпочтения человека и правила безопасности

Безвредная, честная и беспристрастная модель конечного пользователя (Instruct/Chat Model)

Научитесь консолидировать обратную связь с человеком (RLHF)

1. Приобретение и очистка данных (предварительная обработка данных)

Все начинается с просмотра Интернета: веб-сайты собираются путем сканирования магазинов с открытым исходным кодом, академических статей, книг и форумов. Однако интернет-данные нельзя использовать напрямую, необходимо серьезно очистить:

• Вновь извлекается (дублируется) контент.

• Теги HTML и неопознанные массивы символов очищаются.

• Части, которые содержат токсичные, ненавистные фразы и содержат личные данные, фильтруются.

Качество данных обучения напрямую определяет успешность модели. Правило «если вы войдете» в мир науки о данных также действует в основных языковых моделях.

2.2 Предварительная подготовка (предварительная подготовка)

Наиболее дорогостоящим, длительным и энергоемким этапом является процесс. Тысячи высокопроизводительных GPU недель, иногда работают без перерыва.

На этом этапе модель обучается как неконтролируемая (неконтролируемая). Модель получает текст слова в трилионах; некоторые слова в тексте скрыты и просят предсказать следующее слово из модели. Модель совершает ошибки в миллиарды раз, обновляет вес параметров с помощью сходства (обратного распространения) и с течением времени изучает грамматику, поток предложений и общие мировые знания. Существует базовая модель, которая еще не выступает в качестве помощника, когда предварительное обучение завершено.

3. Надзор за тонкой настройкой - SFT

Базовый язык не является хорошим помощником. Чтобы ответить на вопрос: «Где столица Германии?», он может продолжить свой вопрос. Потому что это только для расширения текста, который вы знаете.

На этапе SFT модель предлагает качественные наборы данных в формате вопрос-Цевап:

• Пользователь: Как изменить список на Python?

• Помощник: list.reverse() метод или [::-1] Вы можете использовать метод нарезки.

Благодаря этому обучению модель учится отвечать непосредственно на вопрос, описание кода или резюме текста.

4. Выравнивание (выравнивание: RLHF и DPO)

Хотя модель теперь понимает инструкции, она может производить вводящие в заблуждение или оскорбительные выходы. В этот момент человек вступает в действие. Интеграция Hugging Face LLM RLHF подробно описано в таких источниках, как© Copyright 2018. Все права защищены.) и ДПО (Оптимизация прямых предпочтений) применяются методы.

Человек-маркировщик указывает на самый безопасный и точный, сравнивая альтернативные ответы, которые производит модель. Модель начинает предоставлять удобные, беспристрастные и безвредные ответы, изучая эти отзывы с помощью механизма вознаграждения / сеца. С другой стороны, проверить надежность этих ответов, производимых моделями, и фактическую точность. Система DeepMind SAFE Автоматические механизмы управления, такие как ввод в эксплуатацию и минимизация риска галлюцинаций.

Настройка моделей и мира разработчиков

Мы не только зависим от облачных сервисов гигантских технологических компаний, но и используем большие языковые модели. С ростом экосистемы с открытым исходным кодом разработчики могут запускать 8-битные или 4-битные уровни благодаря методам квантования.

ЛораНизкая адаптацияТакие методы, как эффективная настройка параметров (PEFT), позволяют создавать специальные вертикальные модели только путем обновления небольшого слоя адаптера вместо переподготовки всех огромных моделей. Для инженеров, которые хотят перенести это преобразование в свои собственные проекты. Экосистема LLM и обучение разработчиковМодели API, библиотеки с открытым исходным кодом и RAGДополненное поколение Retrieval) Он играет важнейшую роль в сочетании с архитектурами.

Большие языковые модели не являются магическим сознанием; массивные системы оптимизации, которые превращают письменное наследие человека в математические веса. Токенизация — это первый шаг к пониманию логики предварительной подготовки и согласования, а не только использования этих инструментов, управления ими и интеграции проектов.