نماذج اللغات الصغيرة

مفهوم "جيد جداً إذا كان كبيراً لفترة طويلة في عالم الذكاء الاصطناعي The huge language models with hundreds of billions of parameters, high server costs and massive energy consumption, when forced the company’s budget, a fractional players entered the scene: Small Language Models. وهذه النماذج التي تعمل على الهواتف الذكية والحواسيب المحمولة والخواديم المحلية التي تتضمن عدة بلايين من البارامترات لا تخفض التكاليف فحسب، بل تضع أيضا معيارا جديدا في خصوصية البيانات وسرعة الاستجابة.

ما هو نموذج اللغة الصغيرة وكيف يمكن فصله عن نماذج اللغة الكبيرة؟

ونماذج اللغات الصغيرة هي هياكل استخبارات اصطناعية أمثل إلى العمل بدقة عالية في بعض المهام، حيث يتراوح حجمها عادة بين بليون و 15 بليون بارامتر. GPT-4 أو Claude 3-5 بمئات بلايين البارامترات الفرق الرئيسي من الأنظمة الضخمة مثل (سونيت) هو أن عدد البارامترات يقلل من هذا الحجم الجذري

وتعمل هذه الآليات كخبراء ثقافيين عامين في محاولة لاستخراج جميع المعلومات في العالم، بينما تعمل الإدارة المستدامة للأراضي كخبراء خاصين مكثفين في مجال محدد. ويقلل انخفاض عدد البارامترات من أثر ذاكرة النموذج ويسمح بالعملية في المعدات الاستهلاكية القياسية دون الحاجة إلى مراكز بيانات معقدة. التفاصيل التقنية Comparison of ChatGPT and other language models يمكنك أن تنحني

How does SLMs Provide Cost and Energy Advantage to Companies?

وهناك حاجة إلى الآلاف من مجهزي الرسوم البيانية الباهظة التكلفة لتشغيل نماذج لغة ديفاسا. ويخلق ذلك فواتير مقدمي الخدمات السحابية واستهلاكا خطيرا من الكهرباء وتبريد الطاقة. وبالنسبة لكل عملية بحث أو إنتاج للنصوص الخاصة بالشركات، لا تنفق السندات على مرسيدس، وتقدم جدولاً مالياً مستداماً للاستخدام الجماعي.

وتخفض نماذج اللغات الصغيرة حجم المعاملات بدرجة كبيرة. فعلى سبيل المثال، يمكن للنموذج الذي يحتوي على 3.8 بليون بارامتر أن يعمل على رقعة وحدة التجارة المتعددة الجنسيات (وحدة التجارة الشمالية) من بطاقة واحدة لشاشة المستهلكين أو حتى حاسوب محمول. هذه الشركات API ويقلل من التبعية، ويخفض تكاليف الخادم إلى 80 في المائة، ويقلل من آثار الكربون.

كيف لـ(إدج آي) و(ديفيس) العمل الأعلى تأثير على خصوصية البيانات؟

وتوفر النماذج التي تعمل مباشرة على الجهاز دون أن تتطلب اتصالا بالإنترنت تقدما في خصوصية البيانات. It is a serious risk of sending data to external servers or cloud services in industries where sensitive data is processed such as health, finance or law.

وبفضل تدابير الإدارة المستدامة للأراضي، يتم تجهيز البيانات دون ترك الجهاز المستخدم. This end artificial intelligence systems that work even if the Internet is interrupted; in aircraft, mine sites or places where there is no network coverage. وبالإضافة إلى ذلك، تنخفض أوقات الاستجابة إلى الألف ثانية، حيث تُلغى فترة تأخير العودة إلى الخادم السحابي.

Phi-3, Llama 3 8B and Gemma which Area is Featured?

عمالقة الصناعة يتخذون خطوات كبيرة في سباق النموذج الصغير وعلى الرغم من أن وضع نماذج لغوية كبيرة قد صيغ حول المزيد من البارامترات والبنى التحتية الأكبر لفترة طويلة، فقد بدأت نقطة التركيز في التغير. وتتحول شركات مثل Microsoft و Meta و Google إلى تطوير نماذج يمكن أن تقدم أداء عاليا مع انخفاض استهلاك اللحام. This approach allows both individual developers and institutions to use artificial intelligence with more accessible costs.

من إعداد ميكروسوفت Phi-3 Miniوعلى الرغم من وجود 3.8 بلايين بارامترات فقط، فإن فهم اللغة يظهر أداء ملحوظا في مجالات مثل المنطق المنطقي وإنتاج الرموز. ووفقا للتقرير التقني لميكروسوفت، يوفر النموذج هيكلا للوزن الخفيف يمكن أن يعمل على الأجهزة المحمولة مع الكشف عن النتائج التي يمكن أن تتنافس مع نماذج أكبر بكثير في بعض القياسات. وعلى وجه التحديد، تبرز التطبيقات المحلية للمبادرة كبديل هام للنظم المنخفضة التجهيز وللحلول المتعلقة بالمبادرة.

Meta offers as open source Llama 3 8B - الاهتمام بأدائها، فضلا عن نظامها الإيكولوجي القوي. The Llama 3 family is rapidly adopted by researchers and developers and settled in the center of the open source artificial intelligence world. وبفضل نماذج الأوزان والأدوات الإنمائية التي تنشرها ميتا، أصبح Llama 3 من أكثر النماذج تفضيلاً للتكيف الدقيق، ونظم RAG، ووكلاء الاستخبارات الاصطناعية، وتطبيقات الشركات.

Google carries out the experience gained from the Gemini technology into the open model world Tags وتقدم الأسرة نهجا مختلفا. أما نماذج " جيما " ، التي تصدر بأحجام أصغر، فهي مصممة بكفاءة وسهولة الوصول. وجيما، وهي جزء هام من الاستراتيجية النموذجية المفتوحة لدوائر البحث في غوغل، تقي َّم بصفة خاصة بوصفها خيارا جذابا للمطورين الذين لديهم دراسات أكاديمية ومشاريع تجريبية وموارد محدودة من المعدات. The language support in the next versions of Google and the expansion of improved intelligence capabilities also increases the potential of the model family.

وبالمقارنة مع هذه النماذج الثلاثة، يُنظر إلى كل نموذج على أنه يعالج أولويات مختلفة. ويركّز الفهيد ف-3 على أداءه بأقل تكلفة ممكنة من المعدات؛ ويبرز Llama 3 8B بدعم واسع من المجتمع المحلي، ونظام إيكولوجي للمركبات، وهيكل قابل للتعديل. وتولّى " جيما " الانتباه إلى وزنها الخفيف، ونهجها الميسّر للبحوث، وإلى بنيانها الذي يغذيه غوغل من تكنولوجيات الاستخبارات الاصطناعية. (أ) مع تعبير آخر، في حين أن لاما 3 أكثر تفضيلاً في مشاريع المصادر المفتوحة وتكييف الشركات هي التي توفر ميزة للفيي-3 في سيناريوهات الاستخدام المتنقلة والمحلية؛ وتوفر " جيما " بديلاً متاحاً لكل من الباحثين والمطورين، وهو وضع متوازن بين هذين النهجين.

As artificial intelligence ecosystem, competition is now shaped not only through model size, but through efficiency, accessibility and easy of use. وهذه النماذج اللغوية الثلاث هي من أبرز الأمثلة على هذا التحويل.

كيف يمكن تجنب البيانات الاصطناعية والجودة البيانات SLM فترة؟

عندما تسقط البارامترات من نموذج في الفهم القديم، تم تخفيض القدرة الاستخبارية والفهم مباشرة. الإبداع الأساسي لهذا الوضع كان "بيانات حقيقية" وتقنيات تصفية البيانات الصارمة وكما هو الحال في سلسلة " ميكروسوفت " ، بدأت النماذج في تدريس نصوص اصطناعية عالية الجودة تنتج عن " كتب تعليم للأطفال " أو نماذج كبيرة بدلا من البيانات العشوائية وغير المشروطة للشبكة.

ومع تصفية البيانات المتطورة، يمكن للنماذج الصغيرة أن تكتسب مهارات التنفيذ المنطقي وكتابة الرموز بأقل بكثير من البارامترات، بخلاف النماذج الضخمة غير المدربة.

هل ستخسرين النماذج العظيمة؟

The rise of SLM does not bring the end of LLMs. وعلى العكس من ذلك، فإن هيكل الاستخبارات الاصطناعية هو موطنه نحو هيكل هجين. وفي النظم المقبلة ستوجه الطلبات الواردة إلى نموذج صغير وسريع. وإذا استلزم الرد موجزا قياسيا أو تعويض بالبريد الإلكتروني أو تصنيفا بسيطا، ستكتمل العملية على الجهاز.

ولن يُنقل سوى تحليل أكاديمي عميق إلى نموذج اللغة الكبير في سحابة الطلب عندما تحتاج إلى الاستفسار عن التعليل المعقد المتعدد الخطوات أو قواعد البيانات الضخمة. ويوفر هذا الهيكل التوجيهي أكثر التوازن كفاءة من حيث التكلفة والأداء.

لماذا المطورون والباحثون يتفرقون في الـ "سي إل إم" ؟

وقد أصبحت المناقشات حول نماذج اللغات الصغيرة أحد أكثر المواضيع إثارة في عالم الذكاء الاصطناعي. خصوصا، نماذج مثل Phi-3، وGmma وLlama 3 8B تؤدي أداء عاليا من المتوقع، "هل تحتاج نماذج عملاقة من الواقع؟" غير أن مجتمع المطور ليس لديه نظرة كاملة بهذا الخصوص بين الباحثين ومستعملي الشركات.

فمن جهة، سيكون مطورو الموارد المفتوحة وأفرقة تكنولوجيا الشركات التي تدافع عن المستقبل أكثر الحلول ذكاء اصطناعي شيوعا. According to this opinion, each company ف-4 أو لا تحتاج إلى استخدام نماذج كبيرة جدا مثل. والجزء الكبير من المؤسسات لديه احتياجات أضيق نطاقا مثل تحليل الوثائق، ونظم دعم العملاء، ومحركات البحث في الشركات، وإنتاج المحتوى، والإبلاغ، ومهام الترميز الأساسية. وفي كثير من الأحيان، يمكن لقلة من نماذج البارامترات في هذه السيناريوهات أن تقدم ما يكفي من الأداء.

The most powerful arguments of the defenders are cost, privacy and control. وعند إيجاد مخاطر كبيرة في بعض القطاعات التي تُرسل إلى مقدِّمي الخدمات من طرف ثالث في النظم القائمة على الغيوم، توفر النماذج العاملة محلياً ميزة كبيرة من حيث السيطرة على البيانات. وعلى وجه التحديد، تقترب المؤسسات العاملة في مجالات المالية والصحة والدفاع والقطاع العام من الحلول التي تتيح بقاء البيانات في هياكلها الأساسية. It is also highlighted that SLMs have a much more sustainable investment in the long run, when major models consider API usage costs.

ويقول رأي آخر إن مستقبل الاستخبارات الاصطناعية سيمر عبر النظم الإيكولوجية، التي ليست نماذج كبيرة جدا، بل من نماذج صغيرة متخصصة. ووفقا لهذا النهج، وبدلا من نموذج عملاق واحد في المستقبل؛ سيعمل مع عدد كبير من النماذج الصغيرة التي تتجه بشكل خاص إلى مجالات مثل الترميز أو خدمة العملاء أو تحليل البيانات أو القانون. وبالتالي، سيزداد استهلاك الطاقة والأداء القائم على المهام.

وفي المقابل، يعتمد الباحثون والدوائر الأكاديمية نهجا أكثر حذرا بشأن النماذج الصغيرة. ومع اعتماد التقدم الكبير الذي أحرزته الإدارة المستدامة للأراضي في السنوات الأخيرة، لا تزال هذه النماذج تنظر في أنها فرضت قيودا ملحوظة. In particular, very stepd logical interests, complex problem solving processes, scenarios requiring advanced reasoning and long context tracking are indicated that the superiority of large models continues.

ووفقا لما ذكره الباحثون، فإن النماذج الصغيرة قادرة على أداء أداء مثير للإعجاب في مهام متكررة في البيانات التعليمية، فضلا عن أخطاء أسرع في السيناريوهات غير العادية أو غير المتوقعة. ويظهر إنتاج الهلوسة من بين المشاكل في غياب نتائج غير سليمة واتباع تعليمات معقدة. ومن المعرب عنه بصفة خاصة أن تقلبات الأداء في سيناريوهات الاستخدام المتعدد اللغات واللغات المنخفضة المصدر أكثر وضوحا.

وهناك رأي ثالث تعزز بشكل متزايد في المجتمع لا يكمل النماذج الكبيرة والصغيرة. ووفقا لهذا النهج، سيواصل معظم المستعملين استخدام نماذج كبيرة في المهام التي تتطلب قدرة مدركة عالية، مثل البحوث العلمية، والأسباب المتقدمة، وتطوير البرمجيات المعقدة، أو النظم المتعددة الأطقم. مع تعبير آخر، القطاع يتجه نحو مستقبل هجين حيث نماذج من مختلف المستويات تعمل معا بالانتقال من مفهوم "يجعل كل نموذج"

المناقشة في المجتمع لم تعد "نماذج صغيرة، نماذج كبيرة" من السؤال "أي حجم نموذجي للمهمة أكثر كفاءة؟" The rise of new SLM models plays an important role in artificial intelligence not only more powerful but also becoming more accessible, economical and common. ولذلك، يرى العديد من الخبراء أن العنصر الذي سيحدد النجاح في السنوات القادمة ليس فقط حجم النموذج؛ والتكلفة، والكفاءة، والملاءمة، والتوازن في قيمة الاستخدام العالمي الفعلية.