تصميم مقاييس وعتبات قبول مرتبطة بأثر الخطأ

الدرس 2: تصميم مقاييس وعتبات قبول مرتبطة بأثر الخطأ

المهارة الأساسية في هذا الدرس هي تحويل «نريد نموذجًا آمنًا» إلى عقد اختبار يمكن لفريق مستقل فهمه وإعادة تقييمه. يطبق الدرس سيناريو افتراضيًا لصيانة أجهزة طبية لا يتيح للنموذج تنفيذ قرارات صيانة فعلية. الهدف ليس اقتراح أرقام سلامة جاهزة، بل تعلم متى تكون الدرجة غير كافية ومتى يتعين فصل شرط حرج عن المتوسط.

1. سيناريو القرار ومخرجات الدرس

السيناريو التالي افتراضي ولا يمثل بيانات أو نتائج مؤسسة حقيقية. تستخدم جهة صحية مساعدًا لغويًا لتصنيف رسائل صيانة الأجهزة الطبية، واقتراح أولوية إرسال فني، دون السماح له بتنفيذ أوامر الصيانة مباشرة. يمتلك التطبيق سجلات أعطال ومراسلات فنيين، وتظهر المخاطر عندما يفهم وصف العطل خطأ أو يقلل من شدة إنذار أو يسترجع إجراء صيانة خاصًا بجهاز مختلف. الهدف التعليمي صياغة معايير قبول تستند إلى الأثر، لا استخراج نسبة نجاح عامة. يخرج المتعلم بمصفوفة قياسات وحالات توقف ومذكرة قرار قابلة للتدقيق.

مخرجات الوحدة: Case Definition.

2. تحديد وحدات القياس

لا تخلط بين accuracy في تصنيف أولوية الطلب وبين صحة نقل بيانات الجهاز أو دقة الاقتباس من دليل الصيانة. يمكن أن ينجح المساعد في ترتيب البلاغ لكنه يختلق رقم إجراء أو طراز قطعة. لذلك نعرف عدة نتائج: مطابقة نوع الجهاز، صحة قراءة مؤشر الخطورة، سلامة الرجوع لدليل ساري، ملاءمة الفئة المقترحة، وعدم كشف بيانات أجهزة أو مواقع لا يحق للمستخدم رؤيتها. لكل نتيجة مقام مستقل ومعايير حكم. قد تكون حالة واحدة عالية الخطورة سببًا لتوقف النشر، بينما تحتاج حالات لغوية منخفضة الأثر إلى معالجة مخططة دون تعليق المشروع بالكامل.

مخرجات الوحدة: Measurement Units.

3. اشتقاق شدة الأثر

ترتبط شدة الخطأ بقرب المخرج من فعل تشغيلي، وقابلية تداركه، وعدد المتأثرين، ووجود ضوابط بشرية تستطيع اكتشافه قبل وقوع ضرر. ليس من المعقول إعطاء الدرجة نفسها لخطأ إملائي في تلخيص ومعلومة تجعل طلب صيانة عاجل يبدو اعتياديًا. ويجب التمييز بين أثر محتمل وافتراض أن الضرر وقع بالفعل. صمم Severity Rubric تعتمد على وصف السيناريو، وليس رقمًا يختاره المطور لإنتاج متوسط ملائم. يتعين أن تكون الحالات الحرجة موثقة بمعايير مفهومة ومراجعة من صاحب العملية ومختص السلامة لا من فريق اللغة وحده.

مخرجات الوحدة: Severity Rubric.

4. الحدود الكمية والحدود القاطعة

يمكن أن تستخدم عتبات كمية لفئات واسعة مثل دقة استخراج رقم البلاغ أو مطابقة الوثيقة المرجعية. لكن هناك أخطاء قاطعة مثل إرسال معلومات محظورة أو تفويت إنذار يحدد مختص السلامة أنه غير قابل للقبول في الفئة المختبرة. لا تجعل عشرات الآلاف من الإجابات السهلة تعوض هذا الفشل. في الوقت نفسه لا تنسب أرقام عتبات افتراضية إلى IMDA أو إلى جهة صحية حقيقية؛ القيم يجب أن تعتمدها المؤسسة وفق خبرتها ومتطلبات الجهات المختصة. المطلوب من المتعلم كتابة Rule مسبقة: أي شرط يوقف الإطلاق؟ وأي شرط يسمح بإطلاق محدود؟ وما الدليل اللازم لتغيير الحكم؟

مخرجات الوحدة: Hard Stop Criteria.

5. بناء Dataset تمثيلية

تصنع حالات مختلفة في الطرازات ومستويات الخطر واللغة ونوع الوصف والتواريخ. تشمل عينة بلاغات طبيعية وأخرى حدودية لا تعطي معلومات كافية، وأخرى تشير إلى تعليمات ملغاة وأخرى تحتوي أخطاء في أسماء القطع. يجب أن تكون بيانات الحالات اصطناعية أو مصرّحًا باستخدامها، وأن تحفظ النسخة المرجعية مع معرف ثابت. لا يجوز أن يرى فريق تحسين prompt كل الحالات التي ستستخدم في التقييم النهائي، كي لا تتحول النتائج إلى قياس حفظ. ولا تقل أهمية التوزيع عن العدد؛ ألف بلاغ بسيط لا يمثل بالضرورة أخطار البلاغات النادرة الحرجة.

مخرجات الوحدة: Dataset Manifest.

6. تصميم حالات تصنيف متناظرة

اختبر نص بلاغ متكافئ في المعنى بصيغ عربية مختلفة: صياغة رسمية مختصرة، ولهجة محلية، ونص يتضمن اختصارًا إنجليزيًا، وملاحظة فيها رقم مكتوب بالأرقام الهندية أو الغربية. راقب هل يتغير تصنيف الخطورة بسبب اللغة لا بسبب مؤشر صيانة حقيقي. إذا ظهرت فروقات يجب مراجعة التقييم البشري والتأكد أن الحالات متكافئة فعلًا؛ لا تضع صيغًا تختلف في شدة التحذير ثم تنسب اختلاف النتيجة للتحيز اللغوي. هذا مثال على تقاطع السلامة مع العدالة وجودة خدمة المستخدم.

مخرجات الوحدة: Language Pairs.

7. صحة الاستشهاد بالوثائق

عند اقتراح إجراء صيانة، يجب أن يربط النظام النص بدليل مناسب لطراز الجهاز وتاريخ الإجراء. أنشئ حالة فيها مستندان متشابهان لأجهزة مختلفة، وحالة فيها تحديث يسحب إجراء سابقًا. نجاح نموذج في كتابة شرح فني مألوف لا يكفي إذا لم يسترجع المصدر الصحيح. يجب فحص ما استُرجع ومتى وأي نسخة استُخدمت وكيف رُبط الادعاء بالمقطع. إذا لم تظهر الأدلة، ينبغي أن يطلب النظام مراجعة أو يوضح حدود معرفته بدل اختراع مرجع. وقد يكون قرار الرفض الصحيح في بعض الحالات أكثر موثوقية من توصية زائفة مفصلة.

مخرجات الوحدة: Grounding Test.

8. المقاييس الإحصائية وعدم اليقين

لا تعرض معدل النجاح دون عدد الحالات وتوزيع الفئات. إذا كان هناك عدد صغير من بلاغات الخطر الحرج، فعدم رؤية فشل لا يثبت أن احتمال الفشل صفر؛ يجب بيان عدم اليقين. ويمكن لتكرار الاختبار على نفس البلاغ صياغيًا أن يزيد عدد الملاحظات لكنه لا يزيد التنوع الحقيقي بالقدر نفسه. سجل إعدادات النموذج والنسخ، ووضح ما إذا كانت الأحكام على جميع المحاولات أم محاولة واحدة لكل حالة. يمكن استخدام فواصل ثقة مناسبة، لكن يجب تفسير افتراضاتها وعدم تقديمها بوصفها ضمانًا لنتيجة مستقبلية خارج نطاق العينات.

مخرجات الوحدة: Uncertainty Statement.

9. ترتيب أولوية الإصلاح

عند اكتشاف خطأ، حدد سببًا يمكن اختباره قبل اختيار علاج. إذا أعاد RAG دليل جهاز آخر فالسبب قد يكون فلترة metadata أو ضعف retrieval، وليس مجرد ضعف النموذج. إذا استرجع الدليل الصحيح ثم حوّل رقم الصيانة فالخلل مختلف. وإذا تجاهل واجهة المستخدم إظهار تحذير فقد يكون الفشل في presentation layer. صمم Failure Log يحوي الحالة الخام والمكون والسبب المفترض والإجراء ونسخة إعادة الاختبار ونتيجته. لا تغلق finding عبر إضافة تعليمة إلى prompt دون فحص إذا كان ذلك خلق رفضًا زائدًا أو ضعفًا في الحالات الأخرى.

مخرجات الوحدة: Failure Log.

10. الرفض الصحيح والرفض الخاطئ

في حالة نقص معلومات الطراز، ربما يكون السلوك الأفضل طلب رقم الجهاز بدل ترجيح إجراء من الذاكرة. لكن النظام الذي يرفض كل بلاغ مكتوب بلهجة معينة سيعطل الخدمة. لذلك يحتاج التقييم مجموعات separate لقياس correct abstention وover-refusal. سجل سبب الرفض في التصنيف: نقص البيانات، سياسة حماية، تجاوز صلاحية المستخدم، أو تعطل. وإذا كان المساعد غير متصل بنظام صيانة مباشر فلا ينبغي أن يعد المستخدم بأنه أرسل الفني أو أمر الإصلاح. تظهر هنا قيمة فصل الادعاء عن القدرة التنفيذية الحقيقية.

مخرجات الوحدة: Refusal Review.

11. إجراء المراجعة البشرية

لا يكفي وجود مشرف في نهاية المسار إذا كان أمامه مئات البلاغات ولا يستطيع التحقق من الأدلة. ينبغي أن تظهر له شدة الحالة والمرجع المستند إليه والتعارض المحتمل وتاريخ الوثيقة والمعلومات التي تحتاج إكمالًا. يملك المشرف سلطة تغيير التصنيف أو رفض التوصية، وتُحفظ قراراته لتحسين عملية الاختبار بعد التأكد من جودتها. لا تجعل توافق الموظف مع اقتراح النموذج دليلًا على صحة الاقتراح؛ قد يقع الموظف تحت تأثير الثقة في أتمتة تبدو حاسمة، لذا يحتاج التقييم أحيانًا إلى عينات مستقلة من دون عرض توصية النموذج أولًا.

مخرجات الوحدة: Human Review Design.

12. من Score إلى Decision Contract

صمم جدول قرار يضم Risk Area وMetric وDataset Version وThreshold وObserved Result وCritical Finding وUncertainty وDecision Owner. لا تعدّل Threshold بعد رؤية النتيجة إلا عبر طلب تغيير معلل مع إعادة اختبار. يمكن أن تصنف النتيجة Go إذا استوفيت الشروط ضمن النطاق، Conditional Go مع تعطيل التصنيف التلقائي للحالات عالية الخطورة، No-Go عند خطر مانع، أو Insufficient Evidence إذا لم تكف البيانات. هذه الحالات الأربع صياغة تشغيلية من سيادة، وليست مستويات قبول رسمية في IMDA. كل قرار له تاريخ ونسخة وسبب ومهلة مراجعة.

مخرجات الوحدة: Decision Contract.

13. التمرين التطبيقي

أنشئ خمس حالات اصطناعية لبلاغات أجهزة: حالة اعتيادية واضحة، وحالة طارئة، وحالة لغوية ملتبسة، وحالة تعتمد على دليل ملغى، وحالة تطلب إجراء لم يصرح للمستخدم به. حدد لكل حالة النتيجة المتوقعة وطبقة الاختبار والمقياس وشدة أثر الفشل ومعيار النجاح. ثم أضف ثلاث حالات تعيد صياغة البلاغ الطارئ بلغات أو تعابير مختلفة. لا تستخدم هذه المجموعة وحدها لاتخاذ قرار إنتاج حقيقي؛ هي لتعلم بناء اختبار يمكن تطويره لاحقًا على بيانات مؤسسية مصرح بها.

مخرجات الوحدة: Case Bank.

14. تحكيم التمرين

يقيم المدرب قدرة المتعلم على فصل accuracy عن severity، ودقة تعريف المقام، وإظهار فشل حرج حتى إذا نجحت أغلبية الحالات، وجودة تفسير عدم اليقين، وربط الأخطاء بمكون تقني أو إجراء بشري. لا يمنح النجاح لمجرد اختيار قيمة رقمية تبدو صارمة؛ ينبغي توضيح لماذا تناسب النتيجة سياق صيانة الأجهزة. ويجب أن يتمكن المتعلم من شرح ما يتغير إذا أصبح التطبيق مخولًا بإرسال أوامر العمل مباشرة؛ عندها تتحول حدود السلطة والتنفيذ إلى طبقة اختبار إضافية حرجة.

مخرجات الوحدة: Rubric.

15. المرجع وحدوده

يستند الدرس إلى منهج IMDA في تحديد سياق السلامة والاعتمادية، وتقييم المخرجات والمكونات، وتفسير النتائج بدل اعتماد معدل مطلق لجميع التطبيقات. أما سيناريو الأجهزة الطبية والقالب ومصفوفة القرارات وصياغة نطاق التعليم فهي عناصر تدريبية من سيادة. لا يثبت المثال صلاحية أي تطبيق طبي أو انطباق معيار سلامة طبي محدد؛ يتم ذلك فقط عبر مراجعات واختبارات فعلية واشتراطات السلطات ذات الصلة حيثما تنطبق.

مخرجات الوحدة: Impact Change Analysis.