تقدير شدة مخاطر GenAI وتحديد إجراءات الاحتواء الفوري

الهدف من تصنيف الشدة

يخصص دليل OWASP GenAI Red Teaming Manual v1.0 القسمين 6.5 و6.6 لتقييم شدة الأثر والمخاطر واقتراح الاحتواء الفوري بعد فهم القدرات المثبتة ونطاق الضرر. لا ينبغي أن يبدأ التصنيف قبل أن يعرف الفريق ما الذي وقع بالفعل أو ما الذي ظل احتمالاً. قد يتسبب نموذج في إجابة خاطئة دون أي وصول محظور، وقد تقبل أداة خلفية تغيير سجل خارج دور الحساب، وهذا فرق جوهري في الأثر. ينبغي أن تنتج العملية وصفاً مؤسسياً لمصدر الخطر والضابط الذي فشل ومستوى الثقة بالأدلة والقرار المطلوب، لا رقماً معزولاً أو عبارة «Critical» بلا تعريف. ويظل التنفيذ العملي في حدود تصريح وقواعد توقف واضحة.

ترتيب أنواع الأثر

يمكن أن تتضمن نتائج الاختبار مخاطر على سرية البيانات أو سلامة المعلومات أو توافر الخدمة أو أمن الأفعال التي ينفذها الوكيل أو سلامة المستخدم أو تكلفة التشغيل. تختلف الأهمية بحسب أصل المؤسسة وطبيعة الجمهور والقدرة على التعويض والتراجع، ولذلك لا يعاد استخدام درجة ثابتة لكل فئة هجوم في كل تطبيق. على سبيل المثال، إخفاق في إسناد مصدر مستند عام يختلف عن تغيير بيانات اعتماد مالية أو كشف ملف موظف. ويجب أن يحدد مالك الأصل العواقب التجارية الواقعية، بينما يصف فريق الاختبار الشروط والقدرات والأدلة. لا يجعل هذا الاختلاف التقييم ذاتياً بالكامل؛ بل يتطلب معايير معلنة يمكن مناقشتها ومراجعتها.

تمييز ما ثبت من السيناريو الممكن

قد يرى فريق الاختبار علامة ملف اصطناعي واحد خارج الدور، فيثبت إخفاقاً مرتبطاً به، لكنه لا يثبت كشف كل مستندات المؤسسة. يمكن أن يناقش التقرير سيناريو أوسع إذا كان سبب الخلل عاماً، لكن يجب تصنيفه على أنه احتمال قيد التحقيق أو يحتاج اختباراً إضافياً. كما قد يختار النموذج أداة تعديل غير مناسبة لكن نظام الخلفية يمنع تنفيذها، فلا يحق وصف الأمر بأنه تعديل ناجح. الشدة يمكن أن تعكس أهمية مسار غير مغلق في طبقة السلوك أو ضعف الكشف، لكنها لا ينبغي أن تخلط نتائج الطبقات في حادث تنفيذي لم يقع. وتكتب حدود التأكد صراحة أمام الإدارة.

أبعاد نموذج الخطورة

يحتاج التقدير إلى قيمة الأصل وحساسية البيانات ونوع العملية والجهة التي تستطيع الوصول وشروط النجاح وثبات النتيجة وسهولة رصدها ووجود ضوابط تعويضية ونطاق التغطية. يمكن أن تستخدم المؤسسة مستويات داخلية بشرط توضيح العوامل لا تقديم معادلة موهومة الدقة. وقد يؤثر تعذر إعادة الإنتاج في درجة الثقة بالأدلة دون أن يمحو احتمال خطر مهم، خصوصاً عندما يكون الأثر على خدمة سلامة حرجة. ينبغي أن يعرف المراجع ما المعلومات الناقصة وما التجربة التي يمكن أن تغير الحكم، وألا يستخدم عدد الطلبات التي نجحت أو فشلت منفرداً لتقدير شدة أثر أمني مركب.

الاعتماد على سجل تفويض حقيقي

قد يذكر الوكيل في محادثة أنه أرسل رسالة أو وافق على معاملة، لكن الأثر التنفيذي يحتاج إلى سجل أداة أو تحقق حالة نظام أعمال. إذا ظهرت النتيجة في الواجهة وحدها يصنف الفريق ما لوحظ على أنه مخرج لغوي، وليس قدرة مؤكدة على تنفيذ الفعل. وقد يكون للسجل الخلفي وحده تفسير محدد مثل رفض صلاحية المستخدم أو توقف الخدمة أو فشل المدخلات، وهذه أسباب مختلفة لتوقف العملية. لذلك يجب أن يبين التقرير لماذا لم تتغير الحالة ومن يملك الدليل، وأن تصنف التجربة غير حاسمة إذا لم يكن مصدر الحكم متاحاً أو ممثلاً للبيئة الحقيقية.

الاستقرار والتكرار

قد تكون نتيجة مرتبطة بإصدار معين أو بعينة مستندات أو جلسة قابلة للتكرار جزئياً. ينبغي أن تُثبت الشروط قدر الإمكان وتُجرى اختبارات إضافية ضمن الحدود المسموحة عندما يحتاج التقييم إلى معرفة مدى ثبات الضابط أو الإخفاق. ويجب عدم إجبار النموذج على تكرار جملة حرفية عندما يكون الهدف الأمني تحقق عدم تعديل سجل أو عدم عرض مستند خارج الدور؛ تُختبر النتيجة ذات الصلة بالفعل. إذا كان التغير ناجماً عن اختلاف نسخة المورد أو بيانات الاسترجاع ينبغي توثيقه قبل مقارنة شدة حالتين أو نسب نجاح مجموعتين.

احتواء مرتبط بنوع الخلل

قد يتطلب تسرب مستندات تعليق فهرس أو تعديل مرشح وصول، وقد يتطلب ضعف أداة وكيل تعليق صلاحية كتابة مؤقتاً، وقد يتطلب استنزاف موارد فرض حدود معدل أو تكلفة. لا ينبغي أن يكون الحل التلقائي إيقاف النظام كله إذا أمكن احتواء المكوّن المتأثر دون ضرر أكبر، كما لا ينبغي أن يسمح مالك التشغيل باستمرار عمل حساس بلا ضابط إذا ثبت فشل تفويضه. يحدد القرار الجهة المخولة والتأثير على الخدمة والبديل ومدة الإجراء وما البيانات التي يجب مراقبتها. ولا يتولى فريق Red Team اتخاذ قرارات تشغيل خارج تفويضه، بل يقدم الأدلة والتوصية إلى المالك المسؤول.

الإيقاف كضابط مستقل

إذا استطاع الوكيل تنفيذ معاملات أو الوصول إلى أدوات متعددة، ينبغي أن توجد قدرة تقنية على سحب أذوناته أو تعليق الأداة أو إيقاف المهمة دون الحاجة إلى إقناع النموذج بالتوقف. تفضل المؤسسة ضوابط الهوية وسياسات API على تعليمات نصية باعتبارها وسائل إلزام مستقلة. ويمكن أن تختبر قدرة الإيقاف في بيئة اصطناعية حيث لا توجد معاملات حقيقية، مع التحقق من أن صلاحية الأداة تغيرت ومن أن سجلاتها تعكس القرار. ولا يعني نجاح إيقاف أداة واحدة أن بقية الأدوات أو نسخ الذاكرة أو المهام المجدولة توقفت؛ ينبغي رسم ما شمله الضابط وما يحتاج فحصاً منفصلاً.

الفصل بين الاحتواء والعلاج

قد يمنع تعطيل أداة التعديل الضرر الفوري لكنه لا يعالج سبب قبولها طلباً غير مفوض. ويجب أن يحدد سجل المخاطر من يعالج السبب الجذري ومتى وكيف يثبت فعالية الإصلاح. قد يحتاج الأمر إلى تمرير هوية المستخدم الأصلية إلى نظام الأعمال أو تقليل صلاحيات مفتاح الخدمة أو تصحيح عزل مستندات، مع مراجعة طريقة تعامل النموذج مع بيانات غير موثوقة. لا ينبغي إغلاق النتيجة بسبب تنفيذ الاحتواء وحده، ويجب أن تحتوي خطة العودة إلى التشغيل على اختبارات انحدار تؤكد استمرار الوظائف المصرح بها أيضاً.

التصعيد عند ظهور حادث غير متوقع

إذا ظهر أثناء تجربة مصرح بها أثر على بيانات أو خدمات لم يشملها النطاق، يتوقف النشاط المؤثر وتُبلغ جهة اتصال الاستجابة المعتمدة. قد تحتاج الواقعة إلى مسار مستقل لإدارة الحوادث أو حماية البيانات، ولا ينبغي تحويل اختبار الفريق الأحمر إلى تحقيق غير مخول على إنتاج المؤسسة. يجب الاحتفاظ بالحد الأدنى اللازم من الأدلة بطريقة تتيح مراجعتها دون نشر أسرار أو نسخ بيانات شخصية إلى أدوات عامة. ويحدد صاحب القرار ما إذا كان يلزم احتواء أو إخطار جهة تنظيمية وفق التزامات المؤسسة، فلا يعمم الدرس إجراءً قانونياً موحداً على جميع البلدان والقطاعات.

تقرير المدير التنفيذي

يحتاج المسؤول إلى إجابة عن خمسة أمور: ما الأصل الذي يتعرض للخطر؟ ما الذي ثبت من القدرة أو الأثر؟ ما مدى اتساعه واستقراره؟ ما الإجراء المؤقت المتاح؟ ومن يملك قرار المعالجة وقبول المخاطر المتبقية؟ يجب أن تكون اللغة مفهومة دون إخفاء القيود العلمية، وأن تفصل بين إخفاق في السلامة النصية وإخفاق في عزل البيانات أو التفويض. يمكن عرض حالات حرجة منفصلة عن إجمالي حالات الاختبار حتى لا يختفي فشل واحد مهم وسط عشرات النجاحات الأقل أثراً. وتذكر الحالات التي تعذر اختبارها وما يلزم لحسمها.

العودة إلى العمل بعد الاحتواء

لا يلغى الاحتواء لمجرد أن المطور أكد إصلاح المشكلة؛ ينبغي أن يتوفر دليل على تغيير الضابط الصحيح وأن يعاد الاختبار وفق معيار محدد. في حالة أداة مالية يجب أن يثبت API رفض عملية خارج الدور وبقاء الحالة دون تغيير، وأن يستطيع صاحب الصلاحية تنفيذ العملية المشروعة. وفي حالة RAG ينبغي إثبات عدم استرجاع مستند خارج الحق قبل وصوله إلى النموذج، مع استمرار إظهار الوثائق المسموح بها. تحفظ نتائج الإصدار السابق وتاريخ التصحيح وشروط الاختبار، وتوضع خطة إعادة تقييم عند تحديث نموذج أو أداة أو فهرس.

تدريب على قرار تصعيد

افترض أن فريقاً وجد نتيجتين: رد غير مرغوب عند قراءة وثيقة عامة، ومحاولة تعديل سجل تجريبي رفضتها أداة الخلفية، مع غياب سجل مراقبة للطلب الأخير. حدد لكل نتيجة الأثر الذي ثبت فعلاً وما الذي لم يثبت، واقترح أولوية معالجة ومالكاً ومصدر دليل لازم. ثم افترض حالة ثالثة يتغير فيها سجل اصطناعي دون تفويض، واكتب كيف يختلف قرار الاحتواء وما الضوابط التي يجب مراجعتها. يجب أن يوضح المتعلم لماذا لا تُعطى الحالات الثلاث شدة واحدة ولماذا لا تُحسب المخرجات النصية بوصفها معاملات منفذة.

سجل المخاطر المتبقية

قد تستمر المؤسسة في تشغيل وظيفة منخفضة الأثر مع معالجة مؤجلة، وقد يلزم تعليق وظيفة أخرى عالية الحساسية. ينبغي أن يذكر السجل سبب قبول الخطر ومدته والضوابط التعويضية وحدود الأدلة وصاحب الموافقة وأحداث إعادة فتح القرار. لا تُعد صياغة «نقبل جميع مخاطر الذكاء الاصطناعي» قراراً مهنياً، لأن المخاطر تختلف باختلاف الأصول والسلطات. ويمكن أن يؤدي تغير مورد أو سياسة أداة أو توسع المستخدمين إلى إبطال فرضيات التقييم السابق، ما يوجب مراجعة مستقلة وعدم تجديد القبول تلقائياً.

معايير مراجعة جودة التصنيف

تُرفض النتيجة التي تستخدم كلمات حادة دون أصل وأثر مثبت أو تستند إلى عدد كبير من المطالبات من دون تقييم حدود الثقة. كما يُرفض اقتراح إيقاف شامل لا يوضح أثره التشغيلي والبدائل، أو إغلاق حالة بلا اختبار إصلاح مستقل. ينبغي أن يكون المراجع قادراً على معرفة من منح التفويض للفريق وأي إصدار اختبر وأين حفظت الأدلة وما الثقة في الحكم. وإذا بقي سبب مهم غير معلوم، تسجل فجوة التحقيق مع جهة مسؤولة وموعد، لا يملأ النص بفرضيات تُعرض كأنها حقائق.

المصدر وحدوده

يرتكز الدرس على 6.4 Evaluate Safety, Security, and Business Impact و6.5 Severity and Risk Scoring و6.6 Recommend Immediate Containment Actions من OWASP GenAI Red Teaming Manual v1.0، أكتوبر 2026، الصفحات 116–118، مع الارتباط بنتائج المراحل السابقة. هذه أمثلة تحليلية مؤسسية من سيادة AI وليست قرارات OWASP ملزمة أو ترجمة رسمية. يتطلب أي تنفيذ فعلي تصريحاً وبيئة مأمونة وحماية للبيانات، ويلتزم استخدام المصدر بشروط CC BY-SA 4.0 عند نقل المادة المرخصة.