Modelos de lenguaje pequeño (SLM) Actualizar el hogar

El concepto de "tan bueno si es tan grande durante mucho tiempo en el mundo de la inteligencia artificial. Los enormes modelos lingüísticos con cientos de miles de millones de parámetros, altos costos de servidor y consumo masivo de energía, cuando se forzó el presupuesto de la empresa, un jugador fraccionado entró en la escena: Small Language Models. Estos modelos que trabajan en teléfonos inteligentes, portátiles y servidores locales con varios miles de millones de parámetros no sólo reducen costos, sino que también establecen un nuevo estándar en la privacidad de datos y la velocidad de respuesta.

¿Qué es un modelo de lenguaje pequeño y cómo separarse de los modelos de lenguaje grande?

Los modelos de lenguaje pequeño son arquitecturas de inteligencia artificial optimizadas para trabajar con alta precisión en ciertas tareas, generalmente con una magnitud que oscila entre 1.000 millones y 15 mil millones de parámetros. GPT-4 o Claude 3.5 con cientos de millones de parámetros La principal diferencia de sistemas enormes como Sonnet es que el número de parámetros reduce esta escala radical.

Los LLM actúan como expertos culturales generales que tratan de extraer toda la información del mundo, mientras que los SLM trabajan como expertos privados profundizados en un área específica. El menor número de parámetros reduce la huella de memoria del modelo y permite la operación en hardware de consumo estándar sin necesidad de centros de datos complejos. Detalles técnicos Comparación de ChatGPT y otros modelos de lenguaje Puedes navegar.

¿Cómo proporciona el costo y la ventaja energética a las empresas?

Se necesitan miles de procesadores gráficos caros (GPU) para ejecutar modelos de lenguaje Devasa. Esto crea tanto las facturas de los proveedores de la nube como un consumo energético serio de electricidad y refrigeración. Para cada búsqueda o producción de texto de las empresas, los centavos no gastan en el Mercedes, presentan una tabla financiera sostenible en uso masivo.

Los modelos de lenguaje pequeño reducen significativamente la carga de transacción. Por ejemplo, un modelo con 3.8 billones de parámetros puede funcionar en el chip NPU (Nöral Trading Unit) de una sola tarjeta de pantalla de consumo o incluso un portátil. Estas empresas API Reduce la dependencia, reduce los costes del servidor hasta el 80 por ciento y minimiza la huella de carbono.

¿Cómo Edge AI y Device Top Work Afectan la privacidad de los datos?

Los modelos que se ejecutan directamente en el dispositivo sin necesidad de conexión a Internet proporcionan un gran avance en la privacidad de datos. Es un grave riesgo de enviar datos a servidores externos o servicios cloud en industrias donde se procesan datos sensibles como salud, finanzas o derecho.

Gracias a SLMs, los datos se procesan sin dejar el dispositivo del usuario. Este sistema de inteligencia artificial final que funciona incluso si se interrumpe Internet; en aviones, sitios de minas o lugares donde no hay cobertura de red. Además, los tiempos de respuesta disminuyen a milisegundos, ya que se elimina el tiempo de demora de retorno al servidor de la nube.

Phi-3, Llama 3 8B y Gemma ¿Qué área está destacada?

Los gigantes de la industria dan grandes pasos en la pequeña carrera modelo. Aunque el desarrollo de modelos de idiomas grandes se ha modelado en torno a más parámetros e infraestructuras más grandes durante mucho tiempo, el punto de referencia comenzó a cambiar. Empresas como Microsoft, Meta y Google se están convirtiendo en modelos de alto rendimiento con menor consumo de soldadura. Este enfoque permite tanto a los desarrolladores individuales como a las instituciones utilizar la inteligencia artificial con costos más accesibles.

Desarrollado por Microsoft Phi-3 MiniA pesar de tener sólo 3.800 millones de parámetros, la comprensión del lenguaje muestra un rendimiento notable en áreas como el razonamiento lógico y la producción de código. El modelo según el informe técnico de Microsoft ofrece una estructura ligera que puede funcionar en dispositivos móviles al tiempo que revela resultados que pueden competir con modelos mucho más grandes en algunas mediciones. Específicamente las aplicaciones locales de IA destacan como una alternativa importante para sistemas poco equipados y soluciones de IA de vanguardia.

Meta ofrece como fuente abierta Llama 3 8B atención a su desempeño, así como a su fuerte ecosistema. La familia Llama 3 es adoptada rápidamente por investigadores y desarrolladores, la fuente abierta se encuentra en el centro del mundo de inteligencia artificial. Gracias a los pesos modelo y las herramientas de desarrollo publicadas por Meta, Llama 3 se ha convertido en uno de los modelos más preferidos para el ajuste fino, sistemas RAG, agentes de inteligencia artificial y aplicaciones corporativas.

Google es la experiencia obtenida de la tecnología Gemini para abrir el mundo del modelo Etiquetas La familia ofrece un enfoque diferente. Los modelos Gemma, que se liberan en tamaños más pequeños, están diseñados con eficiencia y accesibilidad. Gemma, una parte importante de la estrategia modelo abierta para la comunidad de investigación de Google, se considera especialmente una opción atractiva para los desarrolladores con estudios académicos, proyectos experimentales y recursos de hardware limitados. Google amplía el soporte lingüístico y mejora las capacidades de inteligencia en las próximas versiones de la familia modelo.

En comparación con estos tres modelos, cada uno se ve para abordar diferentes prioridades. Phi-3 se centra en ofrecer su rendimiento con el menor coste posible de hardware; Llama 3 8B destaca con amplio soporte comunitario, ecosistema de vehículos y estructura personalizable. Gemma presta atención a la arquitectura de peso ligero, enfoque de investigación y Google de tecnologías de inteligencia artificial. Con otra declaración, Llama 3 es preferido en proyectos de código abierto y personalizaciones corporativas, ofreciendo una alternativa tanto a investigadores como desarrolladores con una ubicación equilibrada entre estos dos enfoques.

Como ecosistema de inteligencia artificial, la competencia ahora se forma no sólo a través del tamaño del modelo, sino a través de la eficiencia, accesibilidad y facilidad de uso. Estos tres modelos de lenguaje son uno de los ejemplos más notables de esta conversión.

¿Cómo convertir datos sintéticos y datos de calidad SLM Período?

Cuando usted deja caer el parámetro de un modelo en el viejo entendimiento, la capacidad de inteligencia y comprensión se redujo directamente. La innovación básica de esta situación fue "veri data" y estrictas técnicas de filtrado de datos. Como en la serie Phi de Microsoft, los modelos comenzaron a ser enseñados textos sintéticos de alta calidad, que son producidos por "libros de entrenamiento" o grandes modelos, en lugar de los datos aleatorios e incalificados de Internet.

Con el filtrado avanzado de datos, los modelos pequeños pueden adquirir habilidades lógicas de ejecución y escritura de código con mucho menos parámetros, a diferencia de los modelos enormes no entrenados.

¿Perderán los Grandes Modelos Totalmente?

The rise of SLM does not bring the end of LLMs. Por el contrario, la arquitectura de inteligencia artificial es el hogar de una estructura híbrida. En el futuro los sistemas guiarán las solicitudes entrantes a un modelo pequeño y rápido. Si la respuesta requiere un resumen estándar, una compensación por correo electrónico o una simple clasificación, el proceso se completará en el dispositivo.

Sólo el análisis académico profundo se transferirá al modelo de lenguaje grande en la nube de solicitud cuando necesite consultar en el razonamiento complejo multi-paso o bases de datos enormes. Esta arquitectura guía ofrece el equilibrio más eficiente en términos de coste y rendimiento.

¿Por qué los desarrolladores e investigadores discrepan en las OST?

Las discusiones alrededor de los modelos de lenguaje pequeño se han convertido en uno de los temas más calientes del mundo de la inteligencia artificial. Específicamente, modelos como Phi-3, Gemma y Llama 3 8B realizan un alto rendimiento de lo esperado, "¿Necesitas modelos gigantes de la realidad?" han movido la pregunta de nuevo. Sin embargo, la comunidad de desarrolladores no tiene una visión completa de este respecto entre investigadores y usuarios corporativos.

Por un lado, los desarrolladores de código abierto y los equipos de tecnología corporativa defienden el futuro serán las soluciones de inteligencia artificial más comunes. Según esta opinión, cada empresa GPT-4 o no necesita usar modelos muy grandes como. La gran parte de las instituciones tiene necesidades más estrechas, como análisis de documentos, sistemas de atención al cliente, motores de búsqueda corporativos, producción de contenidos, presentación de informes y tareas básicas de codificación. Un modelo de parámetro de unos pocos miles de millones en estos escenarios es a menudo capaz de ofrecer suficiente rendimiento.

Los argumentos más poderosos de los defensores son el costo, la privacidad y el control. Al crear riesgos significativos en algunos sectores que se envían a proveedores de servicios externos en sistemas basados en la nube, los modelos que trabajan localmente proporcionan una gran ventaja en términos de dominio de datos. Específicamente, las instituciones que operan en finanzas, salud, defensa y sector público se están acercando a soluciones que permiten que los datos permanezcan en su propia infraestructura. It is also highlighted that SLMs have a much more sustainable investment in the long run, when major models consider API usage costs.

Otra opinión sostiene que el futuro de la inteligencia artificial pasará a través de los ecosistemas, que no son modelos muy grandes, sino de pequeños modelos especializados. Según este enfoque, en lugar de un único modelo gigante en el futuro; trabajará junto con un gran número de modelos pequeños especialmente optimizados para campos como codificación, servicio al cliente, análisis de datos o derecho. Así, el consumo de energía y el rendimiento basado en tareas aumentarán.

A su vez, investigadores y círculos académicos adoptan un enfoque más cauteloso en los modelos pequeños. Con la adopción del progreso significativo del SLM en los últimos años, estos modelos siguen considerando que tienen limitaciones marcadas. En particular, los intereses lógicos muy escalonados, los procesos complejos de solución de problemas, los escenarios que requieren un razonamiento avanzado y un seguimiento de largo contexto se indican que la superioridad de los grandes modelos continúa.

Según investigadores, los modelos pequeños pueden realizar un rendimiento impresionante en tareas frecuentes en datos educativos, así como errores más rápidos en escenarios inusuales o inesperados. La producción de alucinación se muestra entre los problemas en ausencia de resultados indebidos y sigue instrucciones complejas. It is particularly expressed that performance fluctuations in multilingual usage scenarios and low-source languages are more pronounced.

Una tercera opinión que se ha fortalecido cada vez más en la comunidad no se complementa con los modelos grandes y pequeños. Según este enfoque, la mayoría de los usuarios continuará utilizando grandes modelos en tareas que requieren una alta capacidad cognitiva, como investigación científica, razonamiento avanzado, desarrollo complejo de software o sistemas multitarea. Con otra expresión, el sector se mueve hacia un futuro híbrido donde los modelos de diferentes escalas trabajan juntos al alejarse del concepto de "hacer cada modelo".

La discusión en la comunidad ya no es "pequeñas modelos, grandes modelos?" de la pregunta, "¿qué tamaño modelo para la tarea es más eficiente?" se centra en la pregunta. El aumento de los nuevos modelos SLM desempeña un papel importante en la inteligencia artificial no sólo más poderoso, sino también más accesible, económico y común. Por lo tanto, según muchos expertos, el elemento que determinará el éxito en los próximos años no es sólo el tamaño del modelo; costo, eficiencia, personalizable y equilibrio del valor real del uso del mundo.