ما هو التعدين البيانات، لماذا مهم؟ الطرائق والعواطف

نعم، إن تعدين البيانات مهم أيضا اليوم: قرارات من قبيل الكشف عن الغش، والتنبؤ بالطلب، وتقسيم العملاء، ونظم التوصية عن طريق الكشف عن الأنماط والعلاقات في مجموعات كبيرة من البيانات. وتستخدم الإحصاءات أساليب التعلم الآلي وقاعدة البيانات معا؛ والغرض من ذلك هو إزالة البيانات من البيانات وليس البيانات نفسها. إذا كنت تعمل مع البيانات الشخصية، يجب أن تمتثل ل KVK في تركيا.

آخر المستجدات: 23.10.2026

1 ما هي "تعدين البيانات"؟

ويعد تعدين البيانات الخطوة التحليلية لعملية " اكتشاف المعلومات " في " البيانات: يجد العفن في مجموعات البيانات الكبيرة الإحصاءات والتعلم الآلي وأساليب قاعدة البيانات. والاسم مضلل إلى حد ما؛ ومسألة الخردة ليست البيانات نفسها، بل المعلومات الواردة في البيانات. والفرق في تحليل البيانات الكلاسيكية هو البحث عن عفن غير معروف بدلا من اختبار فرضية مكتملة سلفا.

1-1 أغراض التعدين في البيانات

• تحليل وصفي: الكشف عن الحالة الراهنة للبيانات ومجموعاتها وتوزيعها.

• التحليل الافتراضي: تقدير قيمة أو درجة في المستقبل عن طريق نموذج البيانات السابقة.

• اكتشاف العلاقة: (ج) إيجاد أحداث وقواعد مرئية معاً (مثلاً المنتجات المجمعة).

2 - عملية إعداد البيانات

The most known framework in the sector is CRISP-DM, designed in 1996 and released in 1999. وهي تتألف من ست مراحل ومن المعتاد العودة بين المراحل:

الخطوات التالية هي المكافئ العملي لهذه العملية:

2-1 اقتناء البيانات

وجمع البيانات هو الخطوة الأولى في تعدين البيانات. وفي هذه المرحلة، يتم تحديد مصادر البيانات وجمع البيانات. وقد تشمل مصادر البيانات ما يلي:

- قواعد البيانات

- المواقع الشبكية

- منابر وسائط الإعلام الاجتماعية

- الدراسات الاستقصائية وأساليب البحث الأخرى

2-2 تجهيز البيانات الأولية

فالبيانات المجمعة خام وغير نظامية عموما. وتمثل عملية المعالجة المسبقة للبيانات عملية جعل البيانات مناسبة للتنظيف والتحويل والتحليل. وتشمل هذه المرحلة ما يلي:

- استكمال البيانات المفقودة

- تحديد القيم الإجمالية وتصحيحها

- تطبيع البيانات

2-3 دار تحليل البيانات

ويعد تحليل البيانات أهم مرحلة من مراحل استخراج البيانات. وفي هذه المرحلة، يجري تحليل البيانات باستخدام مختلف التقنيات والخوارزميات. وتشمل الأساليب المشتركة ما يلي:

- التصنيف: وتنقسم البيانات إلى فئات معينة.

- تجميع: ومن أجل تجميع البيانات ذات السمات المماثلة.

- تراجع: وثمة قيمة رقمية (مثل كمية المبيعات أو السعر) تُمثل العلاقة بين المتغيرات التي ينبغي التنبؤ بها.

2-4 تقييم النتائج

ومن المهم تقييم نتائج التحليلات لمراقبة دقة وصلاحية المعلومات التي تم الحصول عليها. وفي هذه المرحلة، يجري بحث جدوى النتائج وقابليتها للتطبيق.

2-5 تفسير النتائج والإبلاغ عنها

The interpretation of results is the ultimate purpose of data mining. وتفيد التقارير بأن النتائج التي أسفرت عنها هذه العمليات تستخدم في عمليات صنع القرار. At this stage, results are more understood using visual graphics and tables.

3- أساليب التعدين في البيانات

وفيما يلي بعض الأساليب المشتركة المستخدمة في تعدين البيانات:

3-1 الفئة

ويسمح التصنيف بأن تترك البيانات فئات معينة. فعلى سبيل المثال، يمكن استخدام خوارزميات التصنيف لتحديد ما إذا كانت رسالة البريد الإلكتروني مبعثرة. ومن بين خوارزميات التصنيف المشتركة ما يلي:

• أشجار القرار: وتوفر أشجار القرار تمثيلاً بيانياً في هيكل الأشجار يُمثل عملية صنع القرار على أساس بعض الملامح في البيانات. ويمثل كل فرع قراراً أو شرطاً، وتشير كل ورقة إلى حالة أو نتيجة نهائية.

3-2 التجميع

ويستخدم التجميع في تجميع نقاط البيانات ذات السمات المماثلة. وهذه الطريقة فعالة لاستكشاف المجموعات الطبيعية في مجموعة البيانات. ومن بين خوارزميات التجميع المشتركة ما يلي:

• K-Means : K-means, data points k a number of clusters (cluster) are an algorithm that is grouped. ويمثل كل مجموعة متوسط نقاط البيانات في تلك المجموعة (ميركيزي).

• التجميع التعاوني: والتجميع المكوني هو خوارزمية تنظم نقاط البيانات أو أوجه التشابه أو المسافات في الهيكل الشجري (الكيندروجرام). وتنشئ هذه الطريقة هيكلا هرميا بتفريق نقاط البيانات في مجموعات فرعية.

• DBSCAN: وشركة DBSCAN هي طريقة تعلم غير خاضعة للمراقبة تخلق مجموعات عن طريق تجميع نقاط البيانات وفقا لكثافة هذه المجموعات. وتصنف هذه المجموعة من الخوارزمية نقاط البيانات في هذه المناطق عن طريق تحديد المناطق الكثيفة وتقييم المناطق الأقل كثافة كضوضاء (ملاحظة).

3-3 التراجع

ويُستخدم تحليل التنظيم لنموذج العلاقة بين المتغيرات المعتمدة والمتغيرات المستقلة. فعلى سبيل المثال، يمكن إجراء تحليل تراجعي لفهم كيفية تغير سعر المنتج مع الطلب. وتشمل الأنواع المشتركة للتراجع ما يلي:

- تراجع خطي

- الانتكاس السوقي (يستخدم أيضا في تصنيفات المفاعلين مثل نعم/العلن)

- تراجع بولينوم

3-4 قواعد التعاون

وتستخدم القواعد معا لاستكشاف العلاقات بين البيانات. فعلى سبيل المثال، يمكن استخدام الزبون لتحديد المنتجات التي تنحو معا إلى الشراء. وأكثر الخوارزمية المعروفة في هذا المجال هي أبريوري، التي يوصي بها أغروال وسريكانت في عام ١٩٩٤.

4- تطبيقات التعدين في البيانات

ولدى تعدين البيانات مجالات تطبيق مختلفة في العديد من القطاعات:

4-1 صناعة التجزئة

وفي صناعة التجزئة، يُستخدم تعدين البيانات لتحليل سلوك العملاء، ووضع توقعات للمبيعات، وتحسين إدارة المخزون. فعلى سبيل المثال، يمكن استخدام قواعد الاتحاد لتحديد المنتجات التي يتم شراؤها معا في السوق.

4-2 القطاع المالي

وفي القطاع المالي، يُستخدم الكشف عن الاحتيال في مجال تعدين البيانات لوضع استراتيجيات لتقييم مخاطر الائتمان والاستثمار. فعلى سبيل المثال، يمكن استخدام خوارزميات التصنيف في تقييم التطبيقات الائتمانية.

4-3 الصناعة الصحية

وفي قطاع الصحة، يُستخدم تعدين البيانات للتشخيص المبكر للأمراض، وتحسين عمليات العلاج، وتحسين الرعاية الصحية إلى أقصى حد. For example, risk analysis can be performed through health history of patients.

4-4 وسائط الإعلام الاجتماعية

وتستفيد منابر وسائط الإعلام الاجتماعية من تعدين البيانات إلى تحليل سلوك المستعملين، وتقديم توصيات بشأن المحتوى، وتحديد الأهداف. فعلى سبيل المثال، يمكن استخدام أساليب التجميع لتقديم توصيات بشأن المحتوى وفقا لمصالح المستعملين.

يمكنك جذب الانتباه: 2024 Nobel Physical Prize Artificial Nervous Networks Introduced

5 - الأخلاقيات والخصوصية في إعداد البيانات

وكثيراً ما يعمل تعدين البيانات على البيانات المتعلقة بسلوك الناس، مما يؤدي إلى خطر الخصوصية. وعند تجهيز البيانات الشخصية في تركيا، من الضروري الامتثال لقانون حماية البيانات الشخصية رقم 6698: يجب أن تجهز البيانات من الموافقة المفتوحة أو من الأسباب القانونية الأخرى الواردة في المادة 5 من القانون، وكذلك البيانات المجهزة إلى أن يتم تضليل الشخص المعني (10 بنود) وتكون وحدها.

5-1 خصوصية البيانات

وتخضع البيانات الشخصية المؤهلة الخاصة (المادة 6 من القانون الجنائي) مثل البيانات الصحية لقواعد صارمة. كلما كان ذلك ممكناً، يُخبرك مجهولاً أو اسماً مستعاراً (تسمية مجهولة الهوية) بوضوح أن حدود الدخول وتُجمع البيانات لهذا الغرض. احتفظ بالبيانات الشخصية الغير ضرورية إذا انتهى التدريب النموذجي

5-2 استخدام الأخلاقيات

فالاستخدام الأخلاقي يعني أن المعلومات التي يتم الحصول عليها لا تستخدم في إيذاء الناس. فعلى سبيل المثال، إذا نقلت التحيزات الموجودة في البيانات السابقة إلى النموذج، فقد تصبح بعض الفئات محرومة من المكان الخطأ في قرارات الائتمان أو التعيين. لذا فمن العادات الجيدة التحقق من نتائج النموذج لمختلف المجموعات.

خاتمة

ولا يزال تعدين البيانات أحد الطرق الرئيسية لتحويل البيانات إلى قرار. إذا بدأت بالسؤال الصحيح وتبعت عملية مثل CRISP-DM، يمكنك الحصول على فوائد من مجموعات البيانات الكبيرة. وعند العمل مع البيانات الشخصية، يكون جزءاً لا يتجزأ من العمل من أجل الامتثال لKVK ونتائج الرقابة ضد التحيز.

الأسئلة المتكررة

ما الفرق بين تعدين البيانات وتحليل البيانات؟

ويختبر تحليل البيانات عادة افتراضا مسبقا أو يجيب على سؤال معروف. ويركز تعدين البيانات على الكشف عن أنماط وعلاقات لم تكن معروفة في السابق في بيانات كبيرة.

هل هو نفس الشيء لتعلم الآلة مع تعدين البيانات؟

لا لكن في الداخل The machine learning develops algorithms that learn from data; data mining uses these algorithms (such as miles trees, clustering, symptom networks) together with statistics and database techniques.

ما هي الأدوات المستخدمة في تعدين البيانات؟

إذا كتبت الرمز Python (Pandas, scikit-learn) و R أكثر الخيارات شيوعا. إذا كنت تريد أن تبدأ من دون كتابة رمز، يمكنك النظر إلى أدوات المصدر المفتوح مثل KNIME، أورانج وويكا. لاجتذاب البيانات، تحتاج إلى معرفة SQL في كل مشروع تقريبا.

هل تعدين البيانات قانوني؟

والطريقة ذاتها قانونية؛ وهي بيانات هامة. إذا كنت تستخدم البيانات الشخصية، لا تمتثل لرقم KVK No. 6698 في تركيا، تحتاج إلى توضيح البيانات من أساس الأسباب القانونية والاتصالات ذات الصلة. التحقق من شروط استخدام هذا الموقع مع جمع البيانات من مواقع أخرى.

ما الذي يجب أن تعلمه عن تعدين البيانات؟

وتشكل الإحصاءات الأساسية، والسجل الموحد، ولغة البرمجة (Python) بداية جيدة. ثمّ حاولْ التَصنيفَ، تَجمّعُ وأسلوبِ تراجعِ مَع a مجموعة حقيقية مِنْ البياناتِ، يُعلّمُ أسرع مِنْ النظريةِ.

المصدر: CRISP-DM process modelTags القانون رقم 6698