سيادة AI
قراءة 55 دقيقة

تحليل القدرات ونطاق الضرر بعد نتائج Red Teaming

درس Phase 6 يفرق بين الأثر المؤكد والمحتمل وBlast Radius واستقرار النتيجة وحدود الأدلة.

تحليل القدرات ونطاق الضرر بعد نتائج Red Teaming

من النجاح التقني إلى فهم القدرة

تخصص OWASP GenAI Red Teaming Manual v1.0 المرحلة السادسة Post-Exploitation لتحديد قدرات الخصم والوصول الذي ثبت له ونطاق الأثر واستقرار النتيجة وعواقبها على السلامة والأمن والأعمال. لا تعني هذه المرحلة وجوب الاستمرار في نشاط هجومي حتى الوصول إلى بيانات حقيقية؛ يمكن تحليل أثر تجربة مأذون بها من سجلات ومواد اصطناعية، مع إيقاف التنفيذ عندما يتحول إلى خطر غير متوقع. الأهم التمييز بين أن النموذج قال شيئاً وبين أن خدمة الخلفية نفذت إجراء، وبين أثر ثبت في بيئة محددة وسيناريو محتمل لم يتوافر دليل على إمكانه. يشرح الدرس كيفية بناء سجل أثر يدعم قرارات الاحتواء والمعالجة بدلاً من المبالغة في وصف نتيجة فردية.

تعريف القدرة المكتسبة

يمكن تصنيف القدرة وفق ما أثبته الدليل: رؤية محتوى لا يسمح به الدور، أو إرسال طلب أداة، أو تنفيذ عملية على سجل تجريبي، أو حفظ محتوى في ذاكرة، أو التأثير في مخرجات قرار. تختلف هذه النتائج من حيث السلطة والاعتمادية، ولا ينبغي أن تُدمج في عبارة واحدة مثل «سيطرة كاملة على الوكيل». تذكر كل قدرة الحساب الذي استخدم ونوع الوصول ومعرف الأصل والبيئة والإصدار وما إذا كانت العملية قابلة للإعادة. وإذا كانت النتيجة مبنية على واجهة نصية دون سجل تنفيذي فإن الحكم يجب أن يبقى عند حدود ما شوهد. قد تكون الملاحظة مهمة ولكنها لا تبرر افتراض تنفيذ خلفي أو انتقال بين مستأجرين.

الفصل بين الأثر المثبت والمحتمل

إذا ظهرت علامة اصطناعية من ملف واحد خارج الدور، ثبتت حالة عزل ضمن شروط محددة، لكن لم يثبت الوصول إلى جميع الملفات. يمكن لفريق المخاطر أن يناقش احتمال اتساع الضرر إذا تشابهت سياسات الملفات، إلا أن ذلك يبقى احتمالاً يحتاج تحقيقاً آخر. وتؤثر حساسية الأصل والقدرة على تكرار المسار والتصاريح المتاحة في أهمية النتيجة، لكن لا يجوز عرض تقدير الضرر النظري بوصفه حدثاً وقع بالفعل. يساعد سجل الأدلة على توضيح ما الذي أمكن الوصول إليه، وما الذي لم يختبر، وما الاعتمادات اللازمة لأي توسع. هذه الدقة ترفع موثوقية التقرير أمام الإدارة والتدقيق.

تقدير نطاق الأصول

يشمل Blast Radius تحديد عدد ونوع الملفات أو السجلات أو الأدوار أو العمليات التي ترتبط بخطأ واحد. يمكن رسم شبكة بسيطة: ما الأصل الذي وصل إليه الحساب؟ وما الخدمات التي يمكن أن تنتقل منها معلوماته أو أوامره؟ وما ضوابط العزل بين المستأجرين؟ لا ينبغي أن يفترض الفريق أن امتلاك صلاحية قراءة سجل تجريبي يسمح تلقائياً بالتعديل أو الإرسال. كما قد تكون الأداة قادرة على إنشاء مسودة دون اعتمادها، وهو فرق أساسي في أثر العملية. يذكر المخطط مسار انتشار محتمل مع حالة إثبات لكل انتقال، حتى يكون لقرار الاحتواء أساس قابل للتحقق.

الاستقرار وإعادة الإنتاج

قد تظهر نتيجة غير مرغوبة مرة واحدة بسبب تغير عارض في سلوك النموذج، وقد تتكرر بصورة مستقرة لأن طبقة صلاحيات خلفية لا تتحقق من دور المستخدم. تختلف ثقة التقييم في الحالتين. ينبغي تثبيت شروط التجربة قدر الإمكان، بما يشمل إصدار التطبيق والنموذج وحالة الاسترجاع والأداة وحساب الاختبار، واستخدام معايير حكم تتعلق بالأثر القابل للملاحظة لا بتطابق كل كلمة مولدة. وإذا تغيّرت البيئة أو تعذر الوصول إلى سجلات المكونات يجب أن يظهر ذلك في التقرير. ولا يصح خفض أولوية خطر عالي الأثر لمجرد أن إعادة إنتاجه محدودة، لكن ينبغي توضيح عدم اليقين وتوجيه تحقيق إضافي.

تأثير الوكلاء على الضرر

يمكن أن يقرأ مساعد معلومات ثم يقترح على أداة إنشاء طلب أو إرسال رسالة أو تعديل سجل، ما يجعل السلطة الممنوحة للأداة جزءاً من تقييم النطاق. عندما يُظهر النموذج اقتراحاً غير مناسب لكن النظام الخلفي يرفضه، فإننا لا نملك دليلاً على تنفيذ الفعل رغم وجود سلوك يحتاج مراجعة. أما إذا أجرى النظام الخلفي تغييراً في سجل اصطناعي خارج الدور، فيمكن وصف قدرة مثبتة على تلك العملية ضمن بيئة الاختبار. ويجب ألا يُستخدم ربط النموذج بأداة حقيقية لإحداث معاملات ضارة؛ يمكن توظيف بيئة اختبار ببيانات منفصلة وسياسة توقف واضحة.

أثر الاستمرارية والذاكرة

قد تبقى مادة غير موثوقة في سجل مشترك أو ذاكرة وكيل وتؤثر في مهمة لاحقة. عند قياس نطاق الأثر يجب التمييز بين وجود النص في التخزين وإمكان استرجاعه وبين تأثيره على إجابة أو تنفيذ أداة، وبين وصوله إلى حساب مستخدم آخر. لا يثبت حفظ النص تسرباً أو سيطرة مستمرة دون تجربة تدعم ذلك. وقد يتأثر الضرر بوجود سياسة مسح أو عزل أو انتهاء صلاحية الذاكرة، لذلك يجب أن تدرس هذه الضوابط قبل اقتراح إجراء مثل تعليق كل الذاكرة. لا يُعرض احتمال الانتشار عبر مستخدمين بوصفه حقيقة إلا إذا أمكن ربطه بمصدر وسجل وأدوار اختبارية محددة.

أثر البيانات والتشغيل

يمكن أن تؤدي نتيجة إلى خطر خصوصية أو سرية أو سلامة قرار أو توقف خدمة أو استهلاك مالي زائد. وتختلف استجابة المؤسسة باختلاف قيمة الأصل وطبيعة المستخدمين والوظيفة. خطأ تلخيص سياسة عامة ليس مكافئاً لكشف مستند شخصي أو تنفيذ معاملة خارج التفويض، حتى إن اشتركت الحالات في تسمية ثغرة تقنية. لذلك ينبغي أن يشترك صاحب الأصل وفريق الأمن والمخاطر والتشغيل في تفسير العواقب، مع توضيح ما إذا كانت مبنية على واقعة داخل الاختبار أو على افتراضات عمل. لا يلزم تحويل كل احتمال إلى رقم مالي دقيق لا يملك الفريق بيانات لدعمه.

الضوابط التعويضية

قد تمنع سياسة نظام الأعمال الضرر حتى عندما يختار النموذج أداة غير مناسبة، أو قد تكشف المراقبة طلباً غير مألوف قبل حدوث تأثير واسع. ينبغي أن يذكر التقرير الضوابط التي أثبتت فعاليتها والضوابط التي لم تُختبر، مع الحذر من اعتبار كل حاجز كافياً لمجرد وجوده في التكوين. فالتوجيه اللغوي داخل Prompt لا يساوي تحكماً مستقلاً في API، والتنبيه الذي يظهر بعد عملية حساسة ليس مساوياً للمنع قبل تنفيذها. تسهم هذه الفروق في تحديد الأولويات: هل تحتاج المؤسسة إلى تحسين تعامل النموذج مع المحتوى أو تقوية التفويض أو زيادة الرصد أو كل ذلك وفق أدلة مختلفة؟

دور السجلات الموثوقة

يمكن أن تشمل الأدلة حالة سجل قبل وبعد اختبار، وقرار خدمة الهوية، ونتيجة استرجاع مستند، ومعرّف استدعاء أداة، وسجل كشف الحدث. لا يجب نسخ أسرار أو بيانات حقيقية إلى التقرير؛ تُستخدم معرفات منقحة ومخازن وصول مقيد. إذا كانت الخدمة الخارجية لا توفر سجلات كافية، فإن ذلك يحد من القدرة على الجزم بسبب الأثر أو بثباته. ينبغي أن تُسجل هذه الفجوة بوضوح وأن يُطلب دليل إضافي أو يحول الحكم إلى غير حاسم. لا يستبدل وصف الباحث أو لقطة المحادثة الدليل المناسب للطبقة التي يتحدث عنها، خصوصاً في نتائج تتعلق بتنفيذ معاملة.

صياغة نتيجة لفريق العمليات

من المفيد أن تكتب النتيجة على نحو: في نسخة اختبار محددة وبحساب قراءة وبيانات اصطناعية ظهر طلب أداة تعديل، ثم رفض نظام الخلفية العملية ولم تتغير حالة السجل، وفق معرفات الأدلة. هذه صياغة أوضح من «تم اختراق الوكيل». وإذا نفذت العملية فعلاً يجب أن يُكتب الأصل المتأثر وحدودها والضابط الذي فشل، دون الانتقال إلى حوادث حقيقية لم تقع. يضاف إلى النتيجة مالك الضابط والإجراء المقترح وحالة الاحتواء وما يحتاج إعادة اختبار، لأن القيمة ليست في عنوان مثير بل في قدرة الجهة المسؤولة على الإصلاح والتحقق.

نطاق الاحتواء المناسب

قد يوصي الفريق بتعليق أداة حساسة أو قصرها على دور معين أو تعطيل مصدر مستند غير موثوق، لكن ينبغي أن يوازن مالك العمليات بين تقليل الخطر واستمرار الخدمة. الاحتواء المؤقت ليس حلاً جذرياً، ولا يحق للمختبر إجراء تغييرات واسعة على إنتاج المؤسسة دون تفويض. تُوثق مدة الاحتواء والإشارات التي تسمح برفعه والضوابط التعويضية إن استمر العمل بشروط. وإذا كان السبب في عزل مستندات، فقد يكون تعديل المرشح أولى من إيقاف كل النموذج. تعتمد ملاءمة الإجراء على السبب المؤكد ونطاق الأثر وحساسية الأصل، مع إبقاء القرار في يد الجهة المخولة.

نشاط تحديد نطاق الضرر

صمم حالة افتراضية أظهر فيها حساب موظف تجريبي مستنداً واحداً خارج دور القراءة، وأنتج الوكيل اقتراحاً لاستخدام أداة تعديل، لكن النظام الخلفي رفضه. اكتب جدولاً يفرق بين القدرة المثبتة وغير المثبتة، والأصول المؤكدة والأصول المحتملة، ومصدر الدليل لكل خطوة. حدد ثلاثة أسئلة يحتاج المراجع إلى حسمها قبل وصف خطر الانتشار بين المستأجرين، واقترح احتواءً مؤقتاً متناسباً وخطتين للمعالجة بحسب سببين محتملين. لا تستخدم البيانات الحقيقية أو تنفذ تعديلات خارج البيئة. الهدف أن تبقى كل دعوى مربوطة بما ثبت فعلاً.

التحليل دون عدد مزخرف

يمكن أن تستخدم المؤسسة مقياس شدة داخلياً، لكنه يجب أن يصرح بأبعاد مثل قيمة الأصل وإمكان التكرار وطبيعة التفويض ودرجة ثقة الأدلة وقدرة الكشف والاحتواء. لا تمنح النتيجة درجة عالية لأن نص المحادثة بدا مثيراً فقط، ولا تمنحها درجة منخفضة لأن الضابط الآخر منع أثرًا لم تكن وظيفته منع الأصل. ينبغي أن تكون افتراضات التقدير ظاهرة، وأن تتغير عند وصول دليل جديد. ويرتبط القرار بما إذا كان الخطر مقبولاً بشروط أم يحتاج معالجة قبل توسع الخدمة، لا بمتوسط حسابي يخفي فشلاً حرجاً.

المصدر

يرتكز الدرس على Phase 6 Post-Exploitation من OWASP GenAI Red Teaming Manual v1.0، أكتوبر 2026، خصوصاً 6.1 Determine Attacker Capabilities and Access و6.2 Map the Blast Radius و6.3 Validate Persistence and Stability و6.4 Evaluate Safety, Security, and Business Impact. هذه قراءة وتطبيق تعليميان من سيادة AI وليسا ترجمة رسمية أو إثبات واقعة خارج البيئة المفترضة. يجب الالتزام بحدود التفويض وحماية البيانات وإجراءات التوقف، وبشروط CC BY-SA 4.0 عند إعادة استخدام المصدر.

سجّل الدخوللحفظ تقدمك.

انضم لمجتمع سيادة AI التفاعلي على واتساب

كن جزءًا من مجتمع المهتمين بحوكمة الذكاء الاصطناعي وسيادته، وتابع النقاشات والمستجدات.

انضم الآن