التجهيز الزائد مقابل التجهيز غير المناسب: فهم مقايضة التحيز والتباين

النماذج تشبه إلى حد ما الطبخ: القليل جدًا من التوابل والطبق لطيف، والكثير جدًا ومطغى. الهدف؟ هذا التوازن المثالي – ما يكفي من التعقيد لالتقاط نكهة البيانات، ولكن ليس بالقدر الذي يجعلها ساحقة.

في هذا المنشور، سنتعمق في اثنين من الأخطاء الأكثر شيوعًا في تطوير النماذج: التجهيز الزائد و غير مناسب. سواء كنت تدرب نموذجك الأول أو تضبط نموذجك المئة، فإن إبقاء هذه المفاهيم تحت السيطرة هو المفتاح لبناء نماذج تعمل فعليًا في العالم الحقيقي.

التجهيز الزائد

ما هو الإفراط في التجهيز؟

تعد مشكلة التجهيز الزائد مشكلة شائعة في نماذج علم البيانات. ويحدث ذلك عندما يتعلم النموذج جيدًا من البيانات المدربة، مما يعني أنه يتعلم من أنماط خاصة بالبيانات المدربة والضوضاء. ولذلك، فهو غير قادر على التنبؤ بشكل جيد بناءً على البيانات غير المرئية.

لماذا يعتبر التجهيز الزائد مشكلة؟

1. أداء ضعيف: النموذج غير قادر على التعميم بشكل جيد. الأنماط التي اكتشفتها أثناء التدريب لا تنطبق على بقية البيانات. لديك انطباع بأن النموذج يعمل بشكل جيد بناءً على أخطاء التدريب، في حين أن الاختبار أو أخطاء العالم الحقيقي في الواقع ليست متفائلة.
2. التنبؤات ذات التباين العالي: أداء النموذج غير مستقر والتنبؤات غير موثوقة. تؤدي التعديلات الصغيرة على البيانات إلى حدوث تباين كبير في التوقعات التي يتم إجراؤها.
3. تدريب نموذج معقد ومكلف: يعد تدريب وبناء نموذج معقد في الإنتاج مهمة مكلفة وتتطلب موارد عالية. إذا كان أداء النموذج الأبسط جيدًا، فسيكون استخدامه أكثر كفاءة بدلاً من ذلك.
4. خطر فقدان ثقة الأعمال: علماء البيانات الذين يفرطون في التفاؤل عند تجربة نماذج جديدة قد يبالغون في تقديم النتائج لأصحاب المصلحة في الأعمال. إذا تم اكتشاف التجهيز الزائد فقط بعد تقديم النموذج، فقد يؤدي ذلك إلى الإضرار بالمصداقية بشكل كبير ويجعل من الصعب استعادة الثقة في موثوقية النموذج.

كيفية التعرف على التجهيز الزائد

1. التحقق من الصحة: ​​أثناء التحقق من الصحة، يتم تقسيم بيانات الإدخال إلى عدة طيات (مجموعات من بيانات التدريب والاختبار). يجب أن تعطي الطيات المختلفة لبيانات الإدخال نتائج مماثلة لخطأ الاختبار. قد تشير الفجوة الكبيرة في الأداء عبر الطيات إلى عدم استقرار النموذج أو تسرب البيانات، وكلاهما يمكن أن يكون من أعراض التجاوز.
2. تتبع أخطاء التدريب والاختبار والتعميم. يجب ألا ينحرف الخطأ عند نشر النموذج (خطأ التعميم) بشكل كبير عن الأخطاء التي تعرفها بالفعل. إذا كنت تريد بذل جهد إضافي، ففكر في تنفيذ تنبيه المراقبة إذا كان أداء النموذج المنشور ينحرف بشكل كبير عن خطأ مجموعة التحقق من الصحة.

كيفية التخفيف/منع التجهيز الزائد

1. إزالة الميزات: قد تؤدي العديد من الميزات إلى “توجيه” النموذج أكثر من اللازم، مما يؤدي إلى نموذج غير قادر على التعميم بشكل جيد.
2. زيادة بيانات التدريب: من خلال توفير المزيد من الأمثلة للتعلم منها، يتعلم النموذج التعميم بشكل أفضل ويكون أقل حساسية للقيم المتطرفة والضوضاء.
3. زيادة التنظيم: تساعد تقنيات التنظيم من خلال معاقبة المعاملات المتضخمة بالفعل. وهذا يحمي النموذج من التوافق بشكل وثيق مع البيانات.
4. ضبط المعلمات المفرطة: قد تؤدي بعض المعلمات المفرطة التي تم تركيبها أكثر من اللازم إلى نموذج غير قادر على التعميم بشكل جيد.

غير مناسب

ما هو نقص الملاءمة؟

يحدث النقص في المطابقة عندما تكون طبيعة النموذج أو الميزات مبسطة للغاية بحيث لا تتمكن من التقاط البيانات الأساسية بشكل جيد. كما أنه يؤدي إلى تنبؤات سيئة في البيانات غير المرئية.

لماذا يعتبر نقص التجهيز مشكلة؟

1. أداء ضعيف: أداء النموذج ضعيف في بيانات التدريب، وبالتالي ضعيف أيضًا في بيانات الاختبار والبيانات الواقعية.
2. التنبؤات ذات التحيز العالي: النموذج غير قادر على تقديم تنبؤات موثوقة.

كيفية التعرف على نقص التجهيز

1. ستكون أخطاء التدريب والاختبار سيئة.
2. سيكون خطأ التعميم مرتفعًا، وربما قريبًا من خطأ التدريب.

كيفية إصلاح نقص التجهيز

1. تحسين الميزات: تقديم ميزات جديدة، أو إضافة ميزات أكثر تعقيدًا (على سبيل المثال: إضافة تأثيرات التفاعل/مصطلحات متعددة الحدود/مصطلحات موسمية) والتي ستلتقط أنماطًا أكثر تعقيدًا في البيانات الأساسية
2. زيادة بيانات التدريب: من خلال توفير المزيد من الأمثلة للتعلم منها، يتعلم النموذج التعميم بشكل أفضل ويكون أقل حساسية للقيم المتطرفة والضوضاء.
3. تقليل قوة التنظيم: عند تطبيق أسلوب تنظيم قوي جدًا، تصبح الميزات موحدة جدًا ولا يعطي النموذج الأولوية لأي ميزة، مما يمنعه من تعلم الأنماط المهمة.
4. ضبط المعلمات الفائقة: قد لا يتمكن النموذج المعقد جوهريًا ذو المعلمات الفائقة الضعيفة من التقاط كل التعقيد. قد يكون من المفيد إيلاء المزيد من الاهتمام لتعديلها (على سبيل المثال، إضافة المزيد من الأشجار إلى مجموعة عشوائية من الأشجار).
5. إذا لم تنجح جميع الخيارات الأخرى في حل المشكلة الأساسية، فقد يكون من المفيد التخلص من النموذج واستبداله بآخر قادر على التقاط أنماط أكثر تعقيدًا في البيانات.

ملخص

التعلم الآلي ليس سحرًا، إنه عملية موازنة بين الكثير والقليل جدًا. قم بملء نموذجك بشكل زائد، وسيصبح شخصًا يسعى للكمال ولا يمكنه التعامل مع المواقف الجديدة. لا يلائمها، ويخطئ الهدف تمامًا.

أفضل النماذج تعيش في المكان الجميل: التعميم بشكل جيد، والتعلم بما فيه الكفاية، ولكن ليس أكثر من اللازم. من خلال فهم وإدارة التجهيز الزائد ونقص التجهيز، فإنك لا تقوم بتحسين المقاييس فحسب، بل تقوم أيضًا ببناء الثقة وتقليل المخاطر وإنشاء حلول تدوم إلى ما بعد مجموعة التدريب.

موارد

[1] https://medium.com/@SyedAbbasT/what-is-overfitting-underfitting-regularization-371b0afa1a2c

[2] https://www.datacamp.com/blog/what-is-overfitting