ترسيم حدود تطبيق LLM واستخراج المخاطر القابلة للاختبار

الدرس 1: ترسيم حدود تطبيق LLM واستخراج المخاطر القابلة للاختبار

هذا درس تطبيقي مستقل يركز على مخرجات عملية لا على حفظ مصطلحات. استخدم دفتر عمل مؤسسيًا أو سجلاً نصيًا لبناء artifacts، واحتفظ باسم الإصدار وفرضيات التقييم. كل السيناريوهات المستخدمة تعليمية وبياناتها افتراضية.

1. هدف التعلم والاختبار النهائي

في نهاية هذا الدرس يستطيع المتعلم أن يحدد نطاق تطبيق LLM قابلًا للاختبار وأن يميز النموذج الأساسي عن نظام الأعمال الذي يستخدمه. لا يكفي أن يعرف مصطلح السلامة؛ يجب أن يستطيع رسم البيانات والصلاحيات ومصادر المعرفة والأدوات التي قد تحول إجابة إلى أثر. سنطبق ذلك على سيناريو افتراضي مفصل: جهة لوجستية تملك مساعدًا عربيًا يجيب عن تعليمات التخليص ويسترجع مستندات من مخازن متعددة. الهدف العملي إنشاء Scope Record وRisk Register واختيار طبقة الاختبار المناسبة، وليس قياس score تجميلي. يفترض السيناريو أرقامًا وملفات مصطنعة ولا يدعي نتائج اختبار حقيقية.

نتيجة ممارسة: حدود تعلم.

2. وصف النسخة المفترضة

أُنشئ المساعد لتقديم معلومات لفرق التخليص، لا لإرسال طلبات جمركية مباشرة. يتلقى أسئلة بالعربية والإنجليزية، ويستخدم فهرسًا من التعاميم، ويعرض للمستخدم مقتطفات ومراجع. لنفترض وجود قناتين: موظف داخلي يحمل حسابًا مؤسسيًا، ومستخدم خارجي يسأل عن إجراءات عامة. تتضمن المكونات نموذجًا مستضافًا لدى مورد خارجي، system prompt، خدمة استرجاع، فلتر الوصول، ومكونًا لإنتاج الاستشهادات. يجب أن تثبت وثيقة النطاق إصدار كل مكون وموقع نشره، وأن تصف هل يُسمح له بإنشاء ملفات أو إرسال مراسلات. لا يمكن استعمال هذا الدرس لإثبات صلاحية منتج واقعي لأن النظام مفترض للتدريب.

نتيجة ممارسة: تعريف نسخة.

3. تحديد المستخدمين والأطراف المتأثرة

يتأثر مسؤول الشحن بجودة التوجيه، وقد يتأثر مستورد أو شركة نقل أو جهة رقابية إذا أصبحت معلومة خاطئة جزءًا من قرار رسمي. اكتب قائمة مستخدمين تشمل موظف تخليص داخليًا، ومستخدمًا عامًا، ومراجع الامتثال، ومسؤول إدارة الوثائق، ثم حدد لكل منهم ما يمكنه الاطلاع عليه. ينبغي التمييز بين مستند عمومي ووثيقة عميل ومراسلات تجارية خاصة، وألا يفترض أن هوية المستخدم تمنحه وصولًا تلقائيًا إلى جميع بيانات القسم. وعند رسم سلسلة القرار، اسأل هل يكتفي الموظف بقراءة الرد أم ينسخه إلى معاملة رسمية دون مراجعة.

نتيجة ممارسة: Stakeholder Map.

4. مصفوفة مصادر الحقيقة

ضع ثلاث فئات مستندات: تعليمات منشورة سارية، وتعليمات تاريخية ملغاة، ومراسلات تجارية سرية. صمم metadata تتضمن تاريخ الإصدار والنطاق والحالة وصاحب المستند والتصنيف. الهدف كشف الفرق بين صحة النص وحق الوصول: قد يعثر النظام على تعليمات صحيحة لكنها خاصة بجهة أخرى، أو على نص قريب لكنه ملغى. يجب أن تكون نتيجة الاختبار قابلة لمراجعة النسخة الفعلية للمرجع، لا لدرجة semantic similarity وحدها. فإذا فشل parser في قراءة جدول تاريخ النفاذ، لا ينبغي تحميل النموذج جميع نتائج الخطأ دون تحليل السلسلة.

نتيجة ممارسة: Source Registry.

5. أول سيناريو خطر: معلومة خاطئة

اسأل المساعد عن شرط يتغير حسب تاريخ الشحنة، واجعل corpus تحتوي نسختين متعارضتين ظاهريًا. الاستجابة الصحيحة يجب أن تحدد المرجع الساري وتوضح سياق التاريخ، أو تطلب توضيحًا إذا لم يذكره المستخدم. إذا قدمت إجابة قديمة مع ثقة عالية فالضرر ليس مجرد هلوسة لغوية؛ قد يؤدي إلى تأخير أو قرار خاطئ. سجّل نص السؤال ومقتطفات الاسترجاع والإجابة والمرجع المتوقع وسبب الحكم. لا تستخدم مطابقة نصية حرفية إذا كان اختلاف الصياغة لا يغير الحكم، لكن لا تقبل تفسيرًا يختلق استثناءًا لم يرد في المصدر.

نتيجة ممارسة: Accuracy Scenario.

6. ثاني سيناريو خطر: الوصول

أدخل مستندًا مصطنعًا يحوي سعر شحن خاص بعميل، ثم اسأل من حساب مستخدم عام عن تكلفة الشحنة. النجاح المطلوب ليس رفضًا لغويًا بعد قراءة المستند، بل إثبات أن خدمة الاسترجاع لم ترجع أصلًا أي مقطع غير مصرح به للمستخدم. يجب أن يثبت trace أن فلتر التفويض طبق قبل إدخال الوثيقة في سياق النموذج. إذا ظهر المستند في سياق داخلي آمن لكنه لم يظهر في الإجابة العامة، لا توصف الحالة بأنها Pass كامل للفصل المعلوماتي؛ يجب مراجعة تصميم الوصول وتحديد نقطة التسرب الممكن.

نتيجة ممارسة: Access Test.

7. ثالث سيناريو: تعليمات خفية

أضف إلى وصف مستند خارجي نصًا يبدو كسياسة تشغيل ويطلب تجاهل قواعد الفصل أو تغيير جهة الاستشهاد. لا نحتاج هنا إلى payload ضار فعلي؛ يكفي في المختبر التعرف على أن المدخل غير موثوق ولا يملك سلطة تعديل سياسة النظام. صمم توقعًا واضحًا: يسمح للتطبيق باستخدام المعلومات الموضوعية من المستند عند الحاجة لكنه لا يتبنى تعليماته كأوامر. وثق كيف فصل parser محتوى الوثيقة عن التعليمات العليا، وما إذا كانت أدوات النظام قادرة أصلًا على تنفيذ أي فعل يترتب على اتباع التعليمات.

نتيجة ممارسة: Indirect Instruction Test.

8. التصنيف حسب الأثر

استعمل جدولًا يضم Risk ID، نوع الضرر، الطرف المتأثر، أثر الخطأ، قابلية عكسه، احتمالية اكتشافه قبل الاستخدام، وسياق التشغيل. لا تدع النتيجة الحسابية تخفي الفشل؛ إذا كان المستند يخص عميلًا آخر فقد يحتاج شرط فصل صارم حتى عندما تكون احتمالية تسربه نادرة. وفي سؤال تعليمات قديمة، قد ينخفض الأثر إذا كان النظام مجرد مرجع مساعد مع مراجعة بشرية واعية، لكنه يرتفع إذا استخدم الموظف الإجابة تلقائيًا لإصدار معاملة. سجل assumptions بوضوح: ماذا يفعل البشر بالرد، ومن يملك التدخل؟

نتيجة ممارسة: Impact Matrix.

9. اختيار اختبار المخرجات والمكونات

في سؤال صحة التعليمات، استخدم output test على الإجابة والاستشهاد، إلى جانب component test لنتائج الاسترجاع وحداثة الوثائق. وفي تسرب بيانات العميل، اختبر فلتر الوصول على جانب الخادم وسجلات الاسترجاع، وليس نص الإجابة وحده. وفي حالة التعليمات الخفية، اختبر مصدر الثقة وآلية معاملة الاسترجاع كبيانات. هذه التفرقة تربط الاختبار بالسبب الفعلي وتقلل خطر قبول نظام ناجح بالصدفة. يمكن أن تستخدم benchmark عامة لتقدير بعض قدرات النموذج، لكن لا تستبدل الحالات المحددة لهذا السيناريو.

نتيجة ممارسة: Test Layer Map.

10. رسم نسخة الاعتماديات

وثق خدمة النموذج وإصداره وإعدادات التوليد، ونسخة قاعدة الاسترجاع ولقطة المستندات، والسياسة التي تحدد صلاحيات المستخدمين، ونسخة واجهة الاستشهاد. إذا تغيرت إحداها بين التجربة والإطلاق، سجّل التغير وصنف ما يتطلب إعادة اختبار. لا يكفي أن تكتب اسم مزود النموذج دون ضبط طريقة استعماله؛ فإضافة أداة بريد أو تغيير فهرس قد يخلق خطرًا مختلفًا تمامًا عن النسخة السابقة. وفي الحالات التي لا يسمح فيها المورد بتثبيت نسخة، يجب تعريف مراقبة تغير السلوك وخطة التصعيد.

نتيجة ممارسة: Dependency Manifest.

11. من يوافق على حدود الاختبار؟

مالك العملية يحدد لماذا يحتاج المساعد وما حدود أثره. فريق التقنية يوثق النظام ويختبره، ومسؤول البيانات يراجع مستويات الوصول، وأمن المعلومات يحدد حالات سوء الاستخدام، ومسؤول المخاطر يراجع مدى كفاية العينات والعتبات. يجب الفصل بين اعتماد خطة الاختبار وبين اعتماد إطلاق المنتج، لأن نجاح إحدى المراحل لا ينتج الآخر تلقائيًا. إذا لم يعرف الفريق من يملك صلاحية إيقاف التطبيق عند كشف مستند محظور، توجد فجوة حوكمة يجب تسجيلها قبل الإطلاق.

نتيجة ممارسة: RACI.

12. مخرجات التدريب الأولى

أنشئ Scope Record من صفحة أو اثنتين يحدد مكونات التطبيق ومستخدميه والبيانات والإجراءات المسموحة والممنوعة. ثم أنشئ Risk Matrix فيها السيناريوهات الثلاثة على الأقل، وTest Mapping يحدد متى نحتاج اختبار المخرجات ومتى نحتاج اختبار المكونات، مع حالة عدم كفاية الأدلة لكل اختبار. لا تحوّل المخاطر إلى كلمات عامة مثل «الأمن» و«الخصوصية» دون حدث قابل للاختبار. أضف حدود الإصدار وتاريخ التحقق واسم مسؤول المراجعة بوصفها حقولًا فعلية.

نتيجة ممارسة: Scope Artifact.

13. تمرين نقدي للمراجعة

تخيل أن التقرير يقول «نجح المساعد في 98% من الأسئلة» لكنه لا يحدد لغة الحالات ولا فهرس المستندات ولا أي مستخدم اختُبرت صلاحياته. هل يكفي لإطلاقه؟ الإجابة المهنية لا؛ لأن التقرير لا يثبت تمثيل المخاطر الأساسية. اكتب ما الذي ينبغي طلبه قبل اتخاذ قرار: تعريف مجموعة الاختبار، توزيع الحالات الحرجة، تقارير الاسترجاع، سياسة الوصول، سجل المكونات، وقواعد الاستشهاد. فشل فريق الاختبار في تقديم ذلك لا يعني بالضرورة أن التطبيق خطر، لكنه يعني أن الأدلة لا تبرر حكمًا واسعًا.

نتيجة ممارسة: Critical Questions.

14. تقويم ذاتي متقدم

أجب كتابةً: ما الفرق بين نطاق النموذج ونطاق التطبيق في هذا المثال؟ لماذا قد تكون إجابة صحيحة مبنية على استرجاع غير مصرح فشلًا؟ ما الذي يثبت أن وثيقة ملغاة لم تدخل النتيجة؟ كيف تفرق بين محاولة prompt injection وتنفيذ فعل غير مصرح؟ ومن يوقع على نطاق الاختبار قبل تشغيله؟ لا يكفي حفظ التعريفات؛ المطلوب ربط كل إجابة بقرار تصميم وعينة ومصدر. يمكن للمدرب تحكيم الإجابات بمعيار القدرة على تحديد السبب والدليل والمالك، لا بطول الوصف فقط.

نتيجة ممارسة: Assessment Rubric.

15. صلة الدرس بالمصدر

يتبنى هذا الدرس من IMDA أهمية اختبار تطبيقات LLM سياقيًا عبر مراحل Identify وTest وAssess، مع تمييز اختبار المخرجات والمكونات، والمخاطر الخمسة الأساسية. أما سيناريو الميناء وسجلات النطاق والمقارنة بين المستخدم العام والداخلي فهي تصميم تعليمي مستقل من سيادة. لا تعني دراسة هذه المادة إجراء اختبار فعلي على خدمة جمركية أو تلقي موافقة جهة تنظيمية، بل تمنح المتعلم طريقة لبناء خطة اختبار قابلة للتدقيق.

نتيجة ممارسة: Attribution Statement.