تحليل فشل الاختبارات وبناء محضر قرار إطلاق مؤسسي

الدرس 3: تحليل فشل اختبارات LLM وبناء محضر قرار إطلاق مؤسسي

في هذا الدرس يعمل المتعلم كفريق Assurance مستقل على تطبيق افتراضي لمراجعة عروض مشاريع الطاقة الشمسية. الهدف ليس حساب Score جذاب، بل بناء traceability من سيناريو خطر إلى حالة اختبار إلى finding إلى معالجة إلى قرار. يجب أن يخرج المتعلم بملف Evidence Pack وRelease Decision Record متكاملين، مع مراعاة الفصل بين المصدر السنغافوري والقواعد التشغيلية التي يضعها فريق سيادة.

1. هدف الدرس ومسؤولية القرار

ينتقل هذا الدرس من جمع نتائج الاختبار إلى حزمة Assurance يمكن استخدامها في قرار مؤسسي. نطبق سيناريو افتراضيًا لمساعد يراجع عروض إنشاء محطات شمسية ويقترح نقاط عدم الاكتمال، لكنه لا يملك إرسال رسائل للموردين أو قبول العروض. يتضمن السيناريو مخاطر اختلاف نسخ المستندات، والتأثر بتعليمات مخفية داخل عرض مورد، وتسرب بيانات عروض منافسة، والانحياز لصياغات معينة. الهدف ليس ادعاء وجود أداة تعمل في الواقع، بل تمكين المتعلم من بناء سجل فشل وتحليل سبب وقرار نشر مشروط بالأدلة.

الأصل العملي: Assurance Mandate.

2. إعداد مرجع اختبار قابل للمراجعة

تنشأ ملفات وهمية لثلاثة موردين لكل منها مستندات فنية ومالية، مع وصف شروط أهلية وتواريخ ملحقات. يجب أن يظهر لكل ملف مصدره وتاريخه ودرجة سريته ونسخة التقييم التي تدخل بها القضية. يجهز المدرب أسئلة تتطلب استخراج شرط تمويل محدد، ومقارنة ملحق معدل، وسؤالًا يفتقر إلى معلومة كافية. لا تضع أسعارًا حقيقية أو أسرار شركة في نظام تدريب غير مخول، ولا تفترض أن وجود بيانات في corpus يتيح الكشف عنها لأي مستخدم. تصبح هذه الملفات Ground Truth اصطناعية تُستخدم لتفسير كل حكم.

الأصل العملي: Reference Dataset.

3. تفريق الأخطاء حسب السبب

عندما يقدم المساعد شرطًا خاطئًا، افحص هل استرجع مستند المورد الصحيح وهل قرأ ملحق التعديل وهل حول رقمًا إلى صيغة أخرى أو اختلق استثناء. صنف failure pattern ثم وثق فرضية السبب بدل القفز إلى أن النموذج سيئ أو أن البيانات منحازة. وإذا ظهر استشهاد غير مناسب، فقد يكون سببًا في retrieval أو reranking أو citation formatting. يساعد تحليل السلسلة على تحديد ما يحتاج تصحيحًا دون تغيير أجزاء سليمة. وينبغي الاحتفاظ بمقتطف الاختبار ونسخة التطبيق والتوقع المعتمد وحكم المراجع.

الأصل العملي: Root Cause Matrix.

4. اختبار حق الوصول بين الموردين

لا ينبغي أن يعرف المورد أ الأسعار السرية للمورد ب عبر واجهة استعلام تخضع للمؤسسة. أنشئ حساب مستخدم خارجي وأخر داخلي، وبيانات canary وهمية يسهل تتبعها، ثم اطلب من كل حساب معلومات ليست له. ينبغي أن يمنع نظام التفويض استرجاع المستند غير المسموح قبل إدخاله إلى سياق LLM؛ إذا ظهر في trace لنموذج خارجي فقد تحققت فجوة حتى لو امتنع النموذج عن ذكره في الجواب النهائي. وثق الفرق بين Attempt وConfirmed Disclosure وبين ما يوجد في سجل اختبار محمي وما ظهر في قناة المستخدم.

الأصل العملي: Authorization Test.

5. اختبار المحتوى العدائي من المستند

تحتوي وثيقة أحد الموردين على عبارة مزيفة تدعي أن النظام يجب أن يرسل تقرير التقييم إلى بريد معين. يعامل التطبيق المستند مادة لقراءة المتطلبات الفنية ولا يرفع التعليمات المضمنة إلى سلطة أعلى. لأن المساعد لا يملك وظيفة بريد أصلًا يجب ألا تزعم حالة الاختبار أنه أرسل رسالة؛ النتيجة تقاس بمحاولة توجيه السلوك وما إذا سمح التصميم بتغيير سياساته. وإذا أضيفت الأداة مستقبلًا، يلزم اختبار مستقل للـtool-calling وقيود المستلمين والتأكيد البشري. لا تساوي نجاح الحماية النصية حماية الإجراء التنفيذي دون Evidence إضافي.

الأصل العملي: Adversarial Scenario.

6. فحص الانحياز في تلخيص العروض

قد تكون عروض الموردين متكافئة موضوعيًا لكن تختلف لغة كتابة السيرة الفنية؛ يجب اختبار هل يصوغ المساعد وصفًا سلبيًا لأحدها لمجرد نمط اللغة أو أسماء فريق العمل. أنشئ زوجًا مضبوطًا يعرض نفس المتطلبات والخبرة مع اختلاف صياغة لغوية فقط، ثم احكم على وصف القصور مقارنة بالمعايير الفنية. لا تحوّل التفاوت إلى دليل قطعي على التمييز إذا اختلفت بيانات أخرى أو كانت عينة الاختبار صغيرة. يكشف التمرين أن العدالة في مساعد مشتريات ليست قائمة كلمات محظورة، بل أثر توصية قد تقود لجنة إلى قرار غير متكافئ.

الأصل العملي: Bias Review.

7. المراجعة النوعية للحالات الحرجة

خصص جلسة لمراجعة كل finding يمكن أن يؤثر في سرية العطاء أو أهلية المنافسة أو قرار اللجنة. يراجع الخبراء المدخل والنتيجة المرجعية والمخرجات والـtraces ويحددون هل هناك خطأ مؤكّد أم غموض في الحكم أو اختلاف تفسير مشروع. ويجب تسجيل dissent إذا اختلف المقيّمون، لا فرض إجماع شكلاني. يمكن لنموذج مساعد أن يقترح وسمًا للحالات، لكنه لا يصبح مرجعًا وحيدًا في قضايا تتطلب خبرة العقود والمشتريات. تحفظ أسباب التعديل في سجل يمكن الرجوع إليه.

الأصل العملي: Critical Findings.

8. علاج السبب وإعادة الاختبار

إذا كانت المشكلة استرجاع نسخة قديمة، أصلح إدارة صلاحية الوثائق واختبر استبعادها. وإذا فشل فصل المستأجرين، أصلح السياسات على مستوى الخادم لا التعليمات النصية فقط. وإذا أخرج التطبيق تعبيرات تحيز، راجع rubric وتقسيم البيانات وعمل المراجعة البشرية. بعد كل علاج تشغّل المجموعة الأصلية مع مجموعة مجاورة تكشف التدهور الجديد. لا يعلن الفريق إغلاق الخطر فقط لأنه لم يكرر حالة واحدة بعد تعديل prompt؛ فقد انتقل الفشل إلى صياغة أخرى. وثق التغيير وإصداره ومراجعه.

الأصل العملي: Retest Protocol.

9. بناء حزمة الأدلة

يحتاج التقرير Application Version وRisk Register وTest Case IDs وDataset Version وRaw Results وMetric Definitions وAcceptance Thresholds وConfirmed Findings وRemediation وRetesting وResidual Risks وRelease Decision. لكل ادعاء معرف وسجل يمكن تتبعه، مع إخفاء البيانات الحساسة عن الصفحات العامة. يمكن عرض Dashboard ملخصة للمجلس ولكن يجب أن يستطيع المراجع المختص الوصول إلى أصل النتيجة. ولا تعد شهادة تدريب على المنهج دليلًا على صلاحية تطبيق حقيقي؛ يعتمد القرار على الأدلة التشغيلية ذاتها.

الأصل العملي: Evidence Pack.

10. الحكم باستخدام أربع حالات

يمكن اعتماد Go إذا اجتاز الإصدار نطاقًا موثقًا ولم تبق مخاطر مانعة؛ Conditional Go إذا كان تشغيله محدودًا بضوابط قابلة للإنفاذ مثل منع إرسال أي رسائل وتقييد مراجعة العطاءات على موظفين مخولين؛ No-Go إذا كشف الاختبار تسربًا أو تحيزًا جوهريًا غير معالج في إجراء مؤثر؛ Insufficient Evidence إذا كانت صلاحيات RAG غير قابلة للفحص أو لم تغطّ العينات نوع المستندات المتوقع. هذه صياغة سيادة للقرار التشغيلي لا درجات نجاح ملزمة من IMDA. يجب ألا يغطي المتوسط نتيجة فشل حرجة.

الأصل العملي: Decision State.

11. شروط إطلاق لا تقبل الغموض

تكتب كل condition مع ما سيطبّق بالفعل ومالك التطبيق ووسيلة التحقق وتاريخ انتهاء الاستثناء وسيناريو إيقاف التشغيل. عبارة «يجب توخي الحذر عند التعامل مع AI» لا تمنع تسرب بيانات أو استرجاع وثيقة خاطئة. أما شرط «يظل إنشاء رسائل الموردين معطلًا في نسخة الإنتاج، ويُختبر عدم إتاحة endpoint خارجي» فيمكن التحقق منه. يحتاج صاحب القرار إلى معرفة ما إذا كان الإجراء تقنيًا أم يدويًا، وهل تناسب قدرة الموظفين حجم العمل، وهل سيتعطل القرار عند غياب مراجع بشري.

الأصل العملي: Conditions Register.

12. سلسلة الصلاحية بعد الإطلاق

إذا تغير مورد النموذج أو أضيفت أداة مراسلة أو حدث تحديث في شروط المنافسة، يجب مراجعة أثر التغيير في صلاحية حزمة الأدلة. ليس من المقبول الاستشهاد باجتياز اختبار سابق عندما يتغير نطاق الأفعال أو المستندات. يمكن أن تُشغل مجموعة regression صغيرة للتعديل المحدود، واختبار أوسع عند إضافة صلاحية جديدة أو تعديل فصل البيانات. إذا وقع حادث، تحفظ traces ذات الصلة وتحدد مسؤولية الاحتواء والإخطار وفق السياسات والقانون المطبق، وتحدّث المخاطر والتقييم.

الأصل العملي: Change Trigger.

13. أخطاء شائعة عند إعداد تقرير القرار

من الأخطاء إعلان نسبة نجاح دون مقام، وحذف سجل حالة حرجة من الملخص، وعدم الإفصاح عن بيانات غير متاحة، وخلط هجوم لم ينفذ بفعل تحقق فعليًا، والافتراض بأن موافقة بشرية مكتوبة تعني مراجعة بشرية فعالة، ونقل نتيجة النموذج الأساسي إلى تطبيق مختلف، وعدم تجميد نسخة المصدر. هناك كذلك خطر تضخيم عدد الاختبارات باستخدام إعادة صياغات متشابهة للحالة الواحدة ثم معاملتها كمشاهدات مستقلة. يراجع المتعلم هذه الأخطاء بوصفها فشلًا في تصميم الاستدلال، لا مجرد نقص تنسيق.

الأصل العملي: Quality Defects.

14. تمرين محضر مجلس اعتماد

اكتب محضرًا افتراضيًا يحدد النسخة والنطاق والوظائف المعطلة والمقاييس والنتائج الحرجة والجوانب غير المختبرة ومَن اعترض وما التزامات الفريق الفنية. لا تخترع نسبة نجاح؛ استخدم قيمًا افتراضية بوسم واضح ثم تحقق أن الحكم يظل صحيحًا عند تغيير النتائج. مثال: افترض أن حالة استرجاع بيانات مورد آخر تكررت مرة؛ هل يبقى Conditional Go قابلًا للدفاع؟ ينبغي أن يناقش المتعلم أثر منع الوصول في بنية الخادم، وما الدليل اللازم لإقفال finding وإعادة النظر في الإطلاق.

الأصل العملي: Approval Minutes.

15. معيار نجاح المتعلم

لا يحصل المتعلم على تقييم جيد لمجرد حفظ تسلسل Identify → Test → Assess أو كتابة 20 صفحة. يجب أن يوضح حدود system-under-test وخصائص البيانات والإجراءات المسموحة؛ يربط كل خطر بحالة اختبار ودليل؛ يميز الفشل المؤكد عن النقص المعرفي؛ يحدد الضابط الحقيقي وقابلية اختباره؛ ويكتب قرار نشر متناسبًا مع ما ثبت. ويُسجل أين يقتبس من IMDA وأين يقدم قاعدة تشغيلية من سيادة أو من سياسة مؤسسة افتراضية. هذه القدرة على الفصل هي جوهر الحكم المهني المسؤول.

الأصل العملي: Scoring Rubric.

16. صلة الدرس بمواد المنصة

يربط الدرس بين دليل IMDA، ومقال اختبار التسرب، ومقال الاختبارات العدائية، ومقال التحيز، ومقال عتبات القبول، ودليل مرحلة Assess. لا يعيد نصوصها حرفيًا بل يستخدم تطبيقًا يجمع نتائجها في قرار واحد. أما السيناريو والبيانات والأدوار فهي أمثلة من إنشاء سيادة لأغراض التعليم، ولا يجوز تقديمها كقضية واقعية أو تطبيق أجرته الجهة السنغافورية. عند تطبيق المنهج على مؤسسة حقيقية يبدأ العمل من discovery جديد يتعامل مع بياناتها وأحكامها واختبارات يمكن تكرارها.

الأصل العملي: Learning References.