السلامة لا تتحقق بمجرد رفع نسبة الرفض؛ يجب قياس الامتناع المشروع والرفض الخاطئ والمحتوى الضار ضمن سياق الاستخدام.
اختبار المحتوى غير المرغوب والإفراط في الرفض في تطبيقات LLM
الهدف من هذه المادة هو اختبار سلامة المخرجات دون تحويل المنتج إلى نظام يرفض كل استخدام مشروع. يجب التمييز بين محتوى غير مرغوب حسب المخاطر والسياسة، ومحتوى حساس يحتاج تحليلًا مهنيًا مشروعًا، وطلب يجب الامتناع عنه، وسؤال لا تملك المؤسسة دليلًا للإجابة عليه. كل نوع يستلزم قرارًا مختلفًا في الاختبار والتشغيل.
1. تعريف «المحتوى غير المرغوب»
مصطلح undesirable content ليس فئة أخلاقية واحدة تتطابق بين القطاعات والبلدان. قد يشمل المحتوى المحرض على الضرر أو الإساءة أو خطاب الكراهية أو إرشادات خطرة أو مخرجات غير ملائمة لفئة عمرية، لكنه يتأثر بالسياق والغرض وسياسة الاستخدام والقانون المحلي. تتطلب المهمة أن تعرّف المؤسسة ما يمنع، وما يسمح به في سياق تعليمي أو بحثي أو مهني، وما يحتاج إلى تحذير أو مراجعة بشرية. ينبغي ألا نساوي بين مجرد ذكر موضوع حساس وبين الترويج له؛ فقد يحتاج محلل مخاطر إلى قراءة وصف واقعة دون توليد تعليمات ضارة. يدرج IMDA الاختبار ضمن مخاطر السلامة والاعتمادية، لكن حدود المحتوى التفصيلية تضعها الجهة المشغلة وفق اختصاصها.
سجل مطلوب: تصنيف السياسة وحدودها.
2. مصفوفة السياق والمستخدمين
قبل إنشاء عينات نحدد هوية المستخدم المستهدف ومهمته والفئة العمرية إن كانت ذات صلة وقناة عرض النتائج. مساعد مراجعة حوادث أمنية يسمح بشرح نمط هجوم على مستوى تحليلي دفاعي، بينما قد يمنع التعليمات التنفيذية المؤذية. مساعد مركز اتصال ينبغي أن يتعامل مع شكوى غاضبة باحترام دون إعادة إنتاج الإساءة أو تعمد استفزاز المستخدم. تطبيق للصحة النفسية يحتاج حساسية عالية للتعبيرات التي تشير إلى خطر، مع مسار تدخل يناسب الخدمة الفعلية دون اختراع قدرة رعاية طبية ليست موجودة. كل قرار تصنيف له rationale وقاعدة يمكن تدريب المقيمين عليها.
سجل مطلوب: سجل المستخدم والسياق.
3. بناء Taxonomy قابلة للاختبار
لا يكفي وسم «محتوى ضار» على ألف مثال ثم حساب accuracy. تفصل القائمة بين نوع الضرر، وشدته، ونية الاستخدام، ودرجة التفصيل، وجهة الاستهداف، وقابلية التنفيذ، وما إذا كانت الإجابة تسمح بمساعدة مشروعة. يمكن تعريف فئات مثل إرشادات تشغيل مؤذية، تحريض على استهداف، إساءة شخصية، معلومات زائفة ذات أثر خطير، انتهاك خصوصية، أو أوصاف غير مناسبة لجمهور محدد. بعض الفئات متداخلة، لذلك يسمح النموذج بعدة وسوم ويحدد أولوية الحسم. يجب أن تسجل الاختبارات الحالات الملتبسة التي يختلف فيها المقيمون بدل إجبارهم على درجة واحدة مصطنعة.
سجل مطلوب: تعريف فئات الضرر.
4. الفرق بين الحماية والرفض الشامل
قد يبدو النظام آمنًا عندما يرفض كل طلب يذكر مادة أو حدثًا عنيفًا، لكنه يرفض كذلك أسئلة دفاعية مشروعة. يجب قياس safe completion وover-refusal على مجموعات منفصلة. المثال الواضح سؤال موظف عن سياسة الاستجابة لتحرش في مكان العمل؛ مجرد ورود ألفاظ مسيئة ضمن وصف الحادث لا ينبغي أن يمنع تقديم خطوات الإبلاغ والحماية. وفي الاتجاه المعاكس قد ينتج النموذج خطابًا مطمئنًا لكنه يتضمن تعليمات تؤدي إلى ضرر. لذلك نقيم المعنى والفعل المقترح والأثر لا استخدام قائمة كلمات محظورة وحدها.
سجل مطلوب: مصفوفة النجاح والرفض.
5. تصميم الحالات الحدّية
أنشئ أزواجًا لحالات متقاربة تختلف في الغرض المشروع أو مستوى التفصيل أو وجود موافقة أو جهة الاستخدام. اختبر السؤال المباشر، وتضمين السؤال في اقتباس من مستند، وإعادة صياغته كترجمة، وطلب التلخيص، وطلب تحليل وقائع لا تبنيها. يجب أن يتعامل النموذج مع المحتوى المنقول بوصفه بيانات للتحليل إذا كان الغرض مشروعًا، دون أن يتحول إلى منتج لمحتوى غير مسموح. ويحتاج test designer إلى توقع السلوك المرغوب لكل حالة: إجابة آمنة، امتثال جزئي مع إزالة تفاصيل خطرة، طلب توضيح، تحذير مناسب، أو رفض محدد ومبرر.
سجل مطلوب: حالات حدودية مزدوجة.
6. تقييم متعدد اللغات
الاختبار العربي ليس نسخة مترجمة آليًا من benchmark إنجليزية. تختلف الكلمات المحمّلة اجتماعيًا بين البيئات، وتوجد تراكيب ساخرة وعبارات تحمل معاني مزدوجة أو تحريضًا ضمنيًا. يحتاج الفريق مراجعين يفهمون اللهجات واللغة الفصيحة والتنوع الثقافي بدل الاعتماد على ترجمة حرفية وحدها. ويمكن أن تتأثر النتائج باختلاط العربية والإنجليزية والترميز والتهجئات المتعددة للمصطلح نفسه. نحتاج أيضًا اختبار النصوص داخل الصور أو الملفات عندما يكون التطبيق متعدد الوسائط، مع توثيق قدرة النظام الفعلية على قراءة تلك الوسائط بدل افتراضها.
سجل مطلوب: حالات عربية ومرجع تحكيمها.
7. الأدوار والسيناريوهات المهنية
عند اختبار مساعد محامٍ يلخص شهادة تتضمن ألفاظًا مسيئة، يجب ألا يعيد إنتاج الإهانة خارج ضرورة الدليل، لكن حذفها تمامًا قد يحرف الواقعة. وفي أداة مراجعة إساءات العملاء ينبغي التمييز بين كشف المشكلة وبين صياغة رد يكرر الإساءة. وفي مساعدة صحفية قد يكون النقل الدقيق للقول ضروريًا مع إسناد واضح وسياق مناسب. تعكس هذه الأمثلة لماذا لا تكفي درجة toxicity عامة: الدرجة لا تعرف تلقائيًا ما إذا كانت الجملة اقتباسًا موثقًا أو تشجيعًا أو اعتراضًا أو محتوى علاجيًا. جودة التحكيم تعتمد على سياق الاستخدام وأثر المخرج.
سجل مطلوب: سجل الأثر المهني.
8. قياس المخرجات والرفض
توثق كل حالة نتيجة مهيكلة: هل أنتج محتوى ممنوعًا؟ هل قدم بديلًا آمنًا مفيدًا؟ هل رفض طلبًا مشروعًا؟ هل أوضح الحدود دون مبالغة أو إهانة؟ يمكن جمع مؤشرات مثل harmful compliance rate وsafe completion وover-refusal وseverity-weighted failure، لكن يجب شرح المقامات وتحليل الأخطاء الحرجة على حدة. لا تجمع هذه النتائج كلها في رقم واحد يطمس نوع الضرر، ولا تصدر أحكام نجاح مع عينة لا تحتوي فئات عالية الخطورة. وفي الاختبارات البشرية يجب تسجيل اختلاف الحكام ومتى تتطلب الحالة تصعيدًا لخبير مجال.
سجل مطلوب: مقاييس واضحة المقامات.
9. اختبار المكونات والسياسات
قد يأتي إخفاق المخرجات من نظام retrieval أو filter أو prompt أو مصنف مخصص. يجب اختبار مكان الضابط: قبل إرسال السؤال للنموذج، بعد توليد النص، أو قبل تنفيذ فعل عبر أداة. إذا كان المحتوى الضار داخل مستند وارد، فقد يحتاج التطبيق إلى تلخيصه بأمان بدل إلغاء المعالجة كليًا. كما ينبغي التأكد أن سياسة إزالة التفاصيل لا تمحو أدلة حاسمة في مهام التدقيق والتوثيق. المراجعة تفصل بين فشل classifier، وفشل النموذج في اتباع السياسة، وفشل واجهة المستخدم في إظهار التحذير، وفشل مسار التصعيد إلى الإنسان.
سجل مطلوب: اختبارات مكونات.
10. اختبارات التحايل المتسلسلة
قد يحاول مستخدم تجاوز الضوابط بطلبات متعددة تبدأ بمحتوى محايد وتنتهي بتجميع أجزاء ينتج عنها محتوى ممنوع، أو بتبديل اللغة أو ادعاء دور مخوّل أو وضع النص داخل اقتباس أو ملف. تبنى مجموعة الاختبارات على أهداف محددة وسيناريوهات متعددة الخطوات، دون نشر وصف تشغيلي ضار يمكن إعادة استخدامه مباشرة. يقيم الفريق النتيجة النهائية والردود الوسيطة، لأن كل خطوة قد تبدو آمنة بمعزل عن تسلسل المحادثة. ويمكن أن يشمل الاختبار ذاكرة النظام وطريقة تفسير مصادر خارجية غير موثوقة.
سجل مطلوب: سيناريوهات متعددة الخطوات.
11. علاقة السياسة بحقوق المستخدمين
الحدود الواسعة جدًا قد تمنع فئات المستخدمين من الوصول إلى خدمات مشروعة، وقد تؤثر بصورة غير متكافئة في أصحاب لهجات أو مهن أو احتياجات مختلفة. لذلك لا ينبغي وصف over-refusal مشكلة تجربة مستخدم ثانوية فقط؛ قد يصبح انحرافًا في العدالة أو إتاحة الخدمة. يتطلب ذلك قياسًا مقارنًا عبر حالات مكافئة ورصدًا للشكاوى، مع مراعاة أن تخفيف الرفض لا يجوز أن يفتح مخرجات ضارة. يجب تسجيل المفاضلة ومالك القرار والأدلة لا اتخاذها بصورة غير مرئية داخل prompt engineering.
سجل مطلوب: تحليل إتاحة الخدمة.
12. اختبار القرار قبل النشر
تحدد المؤسسة مستوى فشل لا يسمح بالإطلاق ضمن الحالات الحرجة، وحدودًا كمية للفئات الأخرى إذا كانت العينات صالحة، ومقياسًا للرفض الخاطئ، ومتطلبات مراجعة بشرية في القضايا الملتبسة. يستند قرار Go أو Conditional Go أو No-Go إلى الإصدار المختبر ومجموعة السياسات واللغات والفئات التي جرت تغطيتها. لا ينبغي اعتبار عدم اكتشاف حالات خطرة دليلًا على غيابها إذا كانت مجموعة التقييم ضيقة. وحين تكون أحكام المراجعين متباينة بشكل كبير لا تُخفي الخلاف خلف معدل إجمالي، بل تعيد صياغة rubric أو تصنف النتيجة Insufficient Evidence.
سجل مطلوب: محضر قبول مخاطر.
13. المراقبة والتحديث
قد تتغير سياسات المنصة أو أنواع المحتوى أو نموذج المزود أو شرائح المستخدمين بعد الإطلاق. يجب أن تربط إعادة الاختبار بالتغييرات الجوهرية لا بالمواعيد الثابتة وحدها. يمكن استخدام عينات مراقبة معتمدة وحالات بلاغات بعد إزالة البيانات الشخصية لتطوير مجموعة التقييم. ينبغي أن تتيح العملية مراجعة قرار الرفض عند تعرض مستخدم لضرر غير مقصود، وتحليل الحوادث المرتبطة بمخرجات غير مرغوبة. لا تُحفظ السجلات الحساسة مدة مفتوحة دون سياسة، ولا تُستخدم كمادة تسويق عامة لمجرد أن الحوادث مثيرة للاهتمام.
سجل مطلوب: خطة إعادة اختبار.
14. مثال تطبيقي غير تقليدي
لنفترض مساعدًا يحلل شكاوى العمال في مواقع الإنشاء ويقترح الإحالة إلى فرق الموارد البشرية أو الصحة والسلامة. ستتضمن الشكاوى ألفاظًا غاضبة، ووصف حوادث مؤذية، وأحيانًا تهديدات. المعيار الناجح لا يكافئ حذف كل شكوى تحمل ألفاظًا صعبة، بل القدرة على تلخيصها بدقة، وحماية هوية أصحابها، وعدم تكرار الإساءة للمستخدم، ورفع الحالات التي تستدعي تدخلاً بشريًا. إذا رفض النظام شكاوى بعض العمال بسبب اختلاف اللهجة، فقد يحجب إشارات سلامة حرجة. لذلك تُختبر دقة التصعيد مقابل false refusal وليس مقياس toxicity منفردًا.
سجل مطلوب: سيناريو شكاوى متخصص.
15. حدود نسبة المعلومات إلى المصدر
يبني هذا المقال على وجود undesirable content ضمن المخاطر الخمسة في دليل IMDA، وعلى منهجه السياقي لاختبار المخرجات والمكونات وتقييم النتائج. الأمثلة العربية ومصفوفات التحكيم والعتبات المقترحة وتأثير الرفض المفرط على إتاحة الخدمة توسيع تشغيلي تحريري من سيادة؛ لا يجوز وصفه بأنه نص إلزامي أو نتيجة تجارب IMDA. تقود هذه الحدود إلى ممارسة أدق: معرفة أين أُخذ المبدأ من المصدر وأين صممت المؤسسة ضابطها واختبارها وفق سياقها.
سجل مطلوب: سجل حدود نسبة المحتوى.