عند تقييم نموذج التصنيف، نحتاج إلى فهم ما الذي أخطأ فيه النموذج، وليس فقط معرفة نسبة النجاح العامة. مصفوفة الالتباس أداة ممتازة لهذا الغرض. هي جدول بسيط يوضح عدد الحالات التي صُنفت بشكل صحيح وعدد الحالات التي اختلطت على النموذج. في التصنيف الثنائي، نرى عادة أربع حالات: إيجابي حقيقي، سلبي حقيقي، إيجابي كاذب، وسلبي كاذب. هذه المصطلحات قد تبدو نظرية في البداية، لكنها مهمة جدًا لأنها تشرح نوع الخطأ الذي وقع.
خذ مثالًا على فحص رسائل البريد المزعج. إذا كانت الرسالة مزعجة وصنفها النموذج على أنها مزعجة، فهذا إيجابي حقيقي. إذا كانت غير مزعجة وصنفها النموذج على أنها غير مزعجة، فهذا سلبي حقيقي. أما إذا كانت الرسالة غير مزعجة لكن النموذج اعتبرها مزعجة، فهذا إيجابي كاذب، وقد يؤدي إلى ضياع رسالة مهمة. وإذا كانت الرسالة مزعجة لكن النموذج اعتبرها غير مزعجة، فهذا سلبي كاذب، وقد يسمح بمرور رسالة ضارة. فهم هذه الحالات يساعد على تقييم أثر الخطأ في العالم الحقيقي.
في بعض المشكلات، لا تكون كل الأخطاء متساوية. في نظام طبي مثلًا، قد يكون من الأسوأ أن يفشل النموذج في اكتشاف حالة خطيرة من أن يرسل إنذارًا إضافيًا خاطئًا. لذلك نستخدم الاسترجاع عندما نريد معرفة كم حالة إيجابية حقيقية التقطها النموذج، ونستخدم الدقة الإيجابية عندما نريد معرفة مدى صحة الإيجابيات التي توقعها النموذج. أما مقياس F1 فيوازن بينهما. هذا مهم جدًا لأن الدقة العامة وحدها لا تكشف الصورة الكاملة.
التطبيق العملي الجيد يبدأ بتحديد الهدف بوضوح. إذا كنت تبني نموذجًا لتصنيف العملاء إلى محتملين للشراء وغير محتملين، فاسأل: ما الخطأ الأكثر تكلفة؟ هل من السيئ أن نفوت عميلًا محتملًا، أم أن نرسل عرضًا لشخص غير مهتم؟ هذا السؤال يحدد المقياس المناسب. بعد ذلك، قسّم البيانات إلى تدريب واختبار، ثم افحص النتائج على الاختبار فقط. لا تكتفِ بأفضل رقم، بل انظر إلى نوع الفئات التي يخطئ فيها النموذج.
مثال تطبيقي بسيط: يمكنك جمع بيانات صغيرة عن طلاب افتراضيين، مثل عدد ساعات المذاكرة، الحضور، وتسليم الواجبات، ثم تصنيفهم إلى “ناجح” و“يحتاج دعمًا”. بعد التدريب، افحص الحالات التي أخطأ فيها النموذج. هل أخطأ مع الطلاب ذوي الحضور المنخفض؟ هل كان يعتمد أكثر من اللازم على ساعة المذاكرة؟ هذا التحليل يعلّمك التفكير النقدي بدل الاكتفاء بالنتيجة النهائية.
من ناحية السلامة، يجب الحذر من استخدام التصنيف في قرارات مصيرية دون مراجعة بشرية. كذلك يجب الانتباه إلى التحيز في البيانات، لأن النموذج قد يكرر أنماطًا غير عادلة. إذا كانت البيانات التاريخية منحازة، فقد يبدو النموذج “دقيقًا” لكنه في الحقيقة يرسخ المشكلة. لهذا، فإن فحص الأداء على مجموعات مختلفة من البيانات جزء مهم من الاستخدام المسؤول. الطالب الذي يفهم هذا مبكرًا سيكون أكثر استعدادًا للتعامل مع المشاريع الحقيقية بثقة ووعي.