ما هو نموذج اللغة الكبيرة، كيف يكون التعليم؟?

كل يوم نتحدّث مع (تشات جي بي تي) أو (كلود) أو نماذج المصدر المفتوح نطبع الرمز، ونلخص النصوص المعقدة، وأحيانا نناقش موضوعا تقنيا أو فلسفيا نتساءل عنه فقط. مِنْ خارج الشاشةِ يَقِفُ بينما هناك a وعي الذي يَعتقدُ مثل الإنسانِ في الطرف الآخرِ مِنْ الشاشةِ، يَفْهمُ ما يَقُولُ. ومع ذلك، لا يوجد سحر خلف الستارة؛ فهناك كمية هائلة من البيانات، وضخامة القدرة على التجهيز، وحسابات الاحتمال الإحصائي. إذن، ما هو نموذج اللغة الكبير الذي يغير عالم التكنولوجيا في السنوات القليلة الماضية وكيف يتم تدريب هذه النظم من الصفر؟

ما هو إل إم؟ هل هو أكثر من ماكينة مكتملة؟

الإنكليزية نموذج لغة كبيرة What is LLM, the most lean response to the question: والصور بين البيانات المستندة إلى النصوص هي نماذج للتعلم العميق مصممة للتنبؤ بالكلمة التالية من خلال تعلم القواعد الغرامية والعلاقات المفاهيمية.

فكّر في سمة الإنجاز التلقائية على لوحة مفاتيح هاتفك. عندما تكتب "سيمين منيس" لديك اقتراح "أنا ذاهب" وتعد الألغام البرية المضادة للأفراد نسخاً ضخمة تغذي هذا المنطق ببيانات عن طريق شبكة " بيتايتلاركا " الإلكترونية وتعالج بلايين القواعد في آن واحد. والفرق الرئيسي بين ذلك هو القدرة على بناء الحجم والسياق.

The foundation of this transformation was published in 2017 and replaced natural language processing (NLP) root تحتاج كل ما تحتاجه على أساس المادة الباحثون طوروا هيكل "الكتابة" الذي يقرأ سياق جميع الأحكام في نفس الوقت بدلاً من تجهيز الكلمات حسب الترتيب وبهذه الطريقة، أصبح نموذجاً قادراً على متابعة العلاقة بين الزمير القادم مع شخص ذاتي في بداية النص. اليوم عند نقطة العروس للمهنيين الذين يريدون الحصول على ميزة تنافسية في عالم البرمجيات الهيمنة على تكنولوجيات الإدارة المستدامة للأراضي ليس فقط علاوة، بل تحول إلى متطلب هندسي أساسي.

ما هو توكين وبارامتر ماذا نعبر؟

لفهم كيفية عمل حركة التحرير، من الضروري أن نعرف كيف تصور النماذج العالم. فالحواسيب لا تقرأ مباشرة رسائل أو كلمات مثلنا، بل تستخدم أرقاما.

ما هو توكن؟

بما أن الحواسيب لا يمكن أن تعمل بشكل مباشر فالنصوص تنقسم إلى أصغر الأجزاء ذات المغزى تُدعى "محطمة" أولاً والإجابة العملية على سؤال ما هو المكسور؛ وأحياناً كلمة واحدة، وأحياناً تكون جذور القبعة أو الكلمة علامة على الإشارة.

فعلى سبيل المثال، يطابق نص بلغ ٠٠٠ ١ كلمة باللغة الانكليزية متوسطا يتراوح بين ٠٠٣١ و ٠٠٤١ كلمة. ويمكن تقسيم كلمات مثل التركية إلى عدة رموز مختلفة، حيث تتلقى كلمة واحدة أكثر من كلمة إضافية واحدة (مثل الكتاب المقدس منا). وتُحسب تكلفة التدريب على نموذج ما مباشرة من خلال هذه الأعداد المكسورة مباشرة من رسوم التسجيل في إطار نظام الإبلاغ الموحد ومن نافذة السياق (نافذة الاتصال).

ما هو البارامترات؟

الكلمات مثل "8B" أو "70B" أو "405B" التي نتحدث عنها تشير إلى حجم النموذج عندما نطلق على البارامترات، يمكننا التفكير في التناقض الرقمي بين الأعصاب في الدماغ البشري.

البارامترات هي الأوزان (الوزن) والانحرافات المثلى أثناء تدريب الشبكة العصبية الاصطناعية (البياز). هذه الأوزان مُحدّدة وعلاقات معدنية بين الكلمات مخزنة بهذه الأرقام وكثيرا ما تزداد القدرة على استخلاص النموذج مع زيادة عدد البارامترات، والتنفيذ المنطقي، وحل المشاكل المعقدة؛ غير أن تكلفة المعدات والوقت اللازمين بالتوازي مع ذلك مطوية أيضا.

الخطوة: كيف تصلح نموذج لغة؟

ويقتضي نموذج للغة واسع هندسة البيانات المكثفة وكهرباء التجهيز العالية التي تستغرق شهوراً للوصول من الصفر والعيش. ويمكننا تلخيص نموذج اللغة في أربع مراحل رئيسية:

النموذج الأساسي (نموذج الأساس)

thousands of GPU sets, unsupervised (unsupervised) learning

3. Supervised fine-Tuning - SFT

وضع صيغة حوارية نموذجية مع مجموعات البيانات المتعلقة بالأسئلة والتعليم

نموذج مساعد يستجيب بشكل مباشر ومنطقي للأسئلة المطروحة

مجموعات بيانات الحوار الجيد، التعلم المراجَع (مشرف)

4. Alignment (Alignment - RLHF / DPO)

تحقيق الاستفادة المثلى من الاستجابات للأفضليات البشرية وقواعد السلامة

نموذج مستعمل نهائي غير مؤذي وصادق وغير متحيز (نموذج التعليم/الشات)

التعلم من أجل تعزيز التغذية المرتدة البشرية

1 - اقتناء البيانات وتنظيفها (تجهيز البيانات)

كل شيء يبدأ بمسح الإنترنت: يتم جمع المواقع الشبكية عن طريق مسح مخازن المصدر المفتوحة والمقالات الأكاديمية والكتب والمنتديات. غير أنه لا يمكن استخدام بيانات الإنترنت مباشرة؛ ومن الضروري التنظيف بجدية:

• ومرة أخرى (مكررة) يتم استخلاص المحتوى.

• تُنظّفُ بطاقاتُ HTML و صفائف شخصيات غير محددة.

• والأجزاء التي تحتوي على عبارات سامة وكراهية وتتضمن بيانات شخصية ممزقة.

وتحدد نوعية بيانات التدريب مباشرة نجاح النموذج. قاعدة "إن دخلت" في عالم علوم البيانات صحيحة أيضاً في نماذج اللغات الرئيسية

٢ - التدريب الأولي )التدريب الأولي(

إن أكثر استهلاك لهذه العملية تكلفة وأطولها وطاقتها هو أعلى مرحلة. الآلاف من الأسابيع ذات الأداء العالي في الاتحاد العالمي لحفظ الطبيعة، تعمل أحيانا دون فترات.

At this stage, the model is trained as uncontrolled (unsupervised). ويعطى النموذج نصاً بالكلمات في ثلاثيات، وبعض الكلمات في النص مخبأة ويُطلب منه التنبؤ بالكلمة التالية من النموذج. The model makes mistakes for billion times, updates the parameters weight with the resemblance (backpropagation) and learns grammar, sentence flow and general world knowledge over time. هناك "نموذج أساسي" لا يعمل كمساعد بعد عندما ينتهي التدريب الأولي

3. Supervised fine-Tuning - SFT

اللغة النموذجية الأساسية ليست مساعدة جيدة. من أجل الإجابة على السؤال عندما تسأله "أين عاصمة ألمانيا؟" يمكنه مواصلة سؤاله لأنه فقط لتمديد النص الذي تعرفه

وفي مرحلة SFT، يقدم النموذج مجموعات من بيانات النوعية في شكل سؤال:

• كيف نعكس القائمة في (بيثون)؟

• مساعد: list.reverse() الطريقة أو [::-1] يمكنك استخدام طريقة قطع.

وبفضل هذا التدريب على التعليمات، يتعلم النموذج الرد مباشرة على سؤال أو وصف رمزي أو موجز نصي.

4. Alignment (Alignment: RLHF and DPO)

وعلى الرغم من أن النموذج يفهم الآن التعليمات، فإنه يمكن أن ينتج نواتج مضللة أو هجومية. وهنا، في هذه المرحلة، يدخل الإنسان في العمل. Hugging Face LLM Integration Guide ترد تفاصيل التردد العالي جداً في مصادر مثلcopyright 2018. جميع الحقوق محجوزة)و(الأفضلية المباشرة- تطبيق الأساليب.

ويشير الملصقات البشرية إلى أسلم وأدق واحدة بمقارنة الاستجابات البديلة التي ينتجها النموذج. The model starts to provide user-friendly, unbiased and harmless responses by learning these feedbacks with the reward/ceza mechanism. ومن ناحية أخرى، اختبار موثوقية هذه الردود التي تنتجها النماذج والدقة الفعلية نظام أعماق المحيط الأطلسي آليات الرقابة التلقائية مثل التكليف بالتهلوس والتقليل إلى أدنى حد من مخاطره.

النماذج العرفية وعالم المطور

ونحن لا نعتمد فقط على الخدمات السحابية لشركات التكنولوجيا العملاقة لاستخدام نماذج لغوية كبيرة في الوقت الحاضر. With the growth of open-source ecosystem, developers can run 8-bit or 4-bit levels thanks to quantization techniques.

LoRALow-Rank Adaptation() مثل تقنيات التكييف الفعّال في البارامترات لا يمكن إلا إنتاج نماذج عمودية خاصة إلى المؤسسات باستكمال طبقة صغيرة من المكيّفين بدلا من إعادة تدريب النماذج الضخمة بأكملها. للمهندسين الذين يريدون تحويل هذا إلى مشاريعهم الخاصة LLM ecosystem and developer trainings Homeنماذج مكتبات المصدر المفتوح ووكالة RAGRetrieval-Augmented Generationوهو دور حاسم في الدمج مع الهياكل.

والنماذج اللغوية الكبيرة ليست وعياً سحرياً؛ ونُظُم التعظيم التي تحول التراث الكتابي البشري إلى أوزان رياضية. ويشكل التكسير الخطوة الأولى لفهم منطق التدريب المسبق والمواءمة، ليس فقط استخدام هذه الأدوات، وإدارتها، وإدماج المشاريع.