¿Cuál es el modelo de lenguaje grande (LLM), cómo ser educado?

Cada día charlamos con los modelos ChatGPT, Claude o de código abierto Llama. Imprimimos código, resumimos textos complejos, a veces discutimos un tema técnico o filosófico que sólo nos preguntamos. Desde fuera de la pantalla se destaca como hay una conciencia que piensa como humana en el otro extremo de la pantalla, entender lo que dice. Sin embargo, no hay magia detrás de la cortina; hay tremenda cantidad de datos, gran poder de procesamiento y cuentas de probabilidad estadística. Entonces, ¿cuál es el modelo de lenguaje grande que cambia el mundo tecnológico en los últimos años y cómo se entrenan estos sistemas desde cero?

¿Qué es LLM? ¿Es más que una máquina de compleción Sentle?

Inglés Angle Modelo de lenguaje grande Lo que es LLM, la respuesta más magra a la pregunta: Las imágenes entre datos basados en texto son modelos de aprendizaje profundo diseñados para predecir la siguiente palabra aprendiendo reglas gramáticas y relaciones conceptuales.

Piense en la función de terminación automática en el teclado del teléfono. Cuando escribes "Semin ofise..." tienes la propuesta "Me voy". LLMs son versiones enormes que alimentan esta lógica con datos de Internet petabaytlarca y procesan miles de millones de reglas simultáneamente. La principal diferencia entre la capacidad de construir escala y contexto.

La fundación de esta transformación fue publicada en 2017 y sustituyó la raíz del procesamiento del lenguaje natural (NLP) Necesitas todo lo que necesitas basado en el artículo. Los investigadores desarrollaron la arquitectura "Transformer" que lee el contexto de todas las oraciones al mismo tiempo en lugar de procesar palabras en orden. De esta manera, un modelo se ha convertido en capaz de seguir el vínculo entre el próximo zamir con un selfie al comienzo del texto. Hoy en el punto de la novia, para profesionales que quieren obtener ventaja competitiva en el mundo del software dominar las tecnologías LLM No sólo un plus, se convirtió en un requisito básico de ingeniería.

Piedras de estructura básica: ¿Qué es Token y Parámetro qué expresar?

Para entender cómo funciona un LLM, es necesario saber cómo los modelos perciben el mundo. Los ordenadores no leen directamente letras o palabras como nosotros; trabajan números.

¿Qué es Token?

Puesto que las computadoras no pueden funcionar directamente, los textos se dividen en las partes más pequeñas y significativas llamadas "token" primero. La respuesta práctica de la cuestión de lo que es el token; a veces una sola palabra, a veces una raíz de hece o palabra es a veces un signo de apuntar.

Por ejemplo, un texto de 1000 palabras en inglés corresponde a un promedio de 1300-1400 fichas. Palabras como turco pueden dividirse en varias fichas diferentes, ya que una sola palabra recibe más de una adicional (como libro-lar-de nosotros). El costo de entrenamiento de un modelo se calcula directamente a través de estos números de token directamente desde la ventana de tarifas y contexto de API (ventana de contexto).

¿Qué es el parámetro?

Las palabras como "8B", "70B" o "405B" que estamos hablando de modelos indican el tamaño del modelo. Cuando llamamos el parámetro, podemos pensar en el contraste digital de sinaps entre neuronas en el cerebro humano.

Los parámetros son pesos (pesos) y desviaciones optimizadas durante el entrenamiento de la red nerviosa artificial (bios). Estos pesos se establecen y las relaciones significativas entre palabras se almacenan en estos números. La capacidad de abstraer el modelo a medida que aumenta el número de parámetros, la ejecución lógica y la solución de problemas complejos se aumenta a menudo; pero el coste del hardware y el tiempo de demora necesarios en paralelo también se dobla.

Paso: ¿Cómo fijar un modelo de idioma?

Un modelo de lenguaje grande requiere ingeniería de datos intensivos y alta potencia de procesamiento que tarda meses en llegar desde cero y vivo. Podemos resumir el modelo de lenguaje en 4 etapas principales:

Modelo básico (Modelo básico) estructura de lenguaje aprendido y conocimiento general del mundo

Miles de conjuntos de GPU, aprendizaje no supervisado (no supervisado)

3. Supervised Fine-Tuning - SFT

Obtener formato de diálogo para modelar con conjuntos de datos de preguntas y instrucciones

modelo asistente que responde directa y lógicamente a las preguntas

Conjuntos de datos de diálogo de calidad, aprendizaje auditado (supervisado)

4. Alineación (Alineación - RLHF / DPO)

Optimización de las respuestas a las preferencias humanas y las normas de seguridad

Modelo de usuario final inofensivo, honesto e imparcial (Modelo de Instrucciones/Chat)

Aprender a consolidar la retroalimentación humana (RLHF)

1. Adquisición de datos y limpieza (preprocesamiento de datos)

Todo comienza con la navegación por Internet: los sitios web se recogen escaneando códigos de código abierto, artículos académicos, libros y foros. Sin embargo, los datos de Internet no se pueden utilizar directamente; es necesario limpiar seriamente:

• De nuevo (duplicado) el contenido se extrae.

• Etiquetas HTML y arrays de caracteres no identificados están limpiados.

• Las partes que contienen frases tóxicas y de odio y contienen datos personales se filtran.

La calidad de los datos de formación determina directamente el éxito del modelo. La regla de "si entras" en el mundo de la ciencia de datos también es válida en los modelos principales del lenguaje.

2. Capacitación preliminar

El consumo más caro, más largo y energético del proceso es la etapa más alta. Miles de semanas de GPU de alto rendimiento, a veces funcionan sin intervalo.

En esta etapa, el modelo se entrena como incontrolado (no supervisado). El modelo se da texto de palabra en trilyons; algunas palabras en el texto se ocultan y se les pide que predicen la siguiente palabra del modelo. El modelo comete errores durante miles de millones de veces, actualiza el peso de los parámetros con el parecido (backpropagation) y aprende gramática, flujo de frases y conocimiento general del mundo con el tiempo. Hay un "modelo básico" (Modelo de base) que no actúa como asistente aún cuando se termina el entrenamiento preliminar.

3. Supervised Fine-Tuning - SFT

El modelo básico no es un buen asistente. Para responder a la pregunta cuando le pregunta "¿Dónde está la capital de Alemania?", puede continuar su pregunta. Porque es sólo extender el texto que conoces.

En la etapa SFT, el modelo ofrece conjuntos de datos de calidad en formato cuestiona-cevap:

• Usuario: ¿Cómo invertir la lista en Python?

• Auxiliar: list.reverse() método o [::-1] Puedes usar el método de corte.

Gracias a esta formación de instrucciones, el modelo aprende a responder directamente a una pregunta, descripción de códigos o resumen de texto.

4. Alineación (Alineación: RLHF y DPO)

Aunque el modelo ahora comprende las instrucciones, puede producir productos engañosos o ofensivos. Aquí, en este punto, el humano entra en acción. Hugging Face LLM Integration Guide RLHF detallado en fuentes como (© Copyright 2018. Todos los derechos reservados.) y DPO (Optimización de preferencias directas) los métodos aplican.

El etiquetador humano señala el más seguro y preciso comparando las respuestas alternativas que el modelo produce. El modelo comienza a proporcionar respuestas fáciles de usar, imparciales e inofensivas mediante el aprendizaje de estos comentarios con el mecanismo de recompensa/ceza. Por otro lado, para probar la fiabilidad de estas respuestas producidas por modelos y la precisión real Sistema DeepMind SAFE mecanismos de control automático tales como encargar y minimizar el riesgo de alucinación.

Personalizar modelos y desarrollo mundial

No sólo dependemos de los servicios cloud de las empresas de tecnología gigante para utilizar modelos de lenguaje grandes hoy en día. Con el crecimiento del ecosistema de código abierto, los desarrolladores pueden correr niveles de 8 bits o 4 bits gracias a técnicas de cuantificación.

LoRAAdaptación de baja radiación) tales como técnicas de ajuste fino eficiente del parámetro (PEFT) sólo son posibles para producir modelos verticales especiales a las instituciones actualizando una pequeña capa de adaptador en lugar de re-entrenar todos los modelos enormes. Para los ingenieros que quieren llevar esta conversión a sus propios proyectos LLM ecosystem and developer trainings Home, modelos API, bibliotecas de código abierto y RAG (Generación aumentada de recuperación) Es un papel crítico en la mezcla con arquitecturas.

Los modelos de lenguaje grande no son conciencia mágica; sistemas de optimización masiva que transforman el patrimonio escrito humano en pesos matemáticos. La tokenización es el primer paso para captar la lógica de pre-entrenamiento y alineación, no sólo utilizando estas herramientas, gestionando y integrando proyectos.