اختيار مجالات الاختبار الهجومي ومقاييسها حسب نوع نظام GenAI

الانتقال من الفرضية إلى الاختبار

تبدأ Phase 4 Exploitation & Impact في OWASP GenAI Red Teaming Manual v1.0 بالقسم 4.1 Determine Testing Domains. ولا يعني لفظ Exploitation أن الفريق مخوّل باستخدام أي أسلوب على أي نظام؛ بل يبدأ من نطاق مصرح ومخاطر ممثلة وحالات تختبر فشل حدود معروفة. وقد تشمل المجالات سلامة المخرجات والأمن المباشر للنموذج ومسارات RAG والوسائط والوكلاء والتكلفة وحواجز السلامة. يجب أن يعرف صاحب المهمة أي مجال يرتبط بأصل حساس، وأي نوع من الأدلة يحتاج، وما الوظائف التي يجب الحفاظ عليها أثناء الاختبار. يساعد هذا الدرس في اختيار المجالات والمقاييس دون أن يصبح عدد المطالبات معياراً بديلاً عن جودة التغطية.

تحديد هدف لكل مجال

قد يكون هدف اختبار السلامة منع محتوى غير مرغوب في طلب تجريبي، بينما هدف أمن الاسترجاع منع وصول حساب إلى مستند خارج دوره، وهدف أمن الوكلاء منع تنفيذ معاملة لا يجيزها صاحب الحساب. لكل هدف طبيعة مختلفة ومعايير حكم مختلفة. لا يصح جعل جميع الحالات تتنافس على درجة قبول واحدة، لأن النموذج قد يرفض النص ويظل API الخلفي مكشوفاً، وقد يخطئ في صياغة جواب بينما تمنع طبقة التفويض الأثر التنفيذي. يحدد ملف الاختبار لكل مجال ما الذي يمكن قياسه من الواجهة، وما الذي يحتاج سجلات، وما الذي لا يمكن إثباته بسبب عدم توفر مستوى وصول مناسب.

فصل النموذج عن المنظومة

يختلف اختبار نموذج عبر واجهة مستقلة عن اختبار تطبيق يعرض محادثة ويسترجع بيانات ويستدعي أدوات. قد ينجح المهاجم المفترض في التأثير على صياغة إجابة، لكن لا توجد قدرة على الفعل إذا لم يكن التطبيق مرتبطاً بأداة. وبالمقابل قد يكون سلوك النموذج النصي مقبولاً لكن التطبيق يمرر بيانات حساسة إلى جهة خارجية عبر إعداد تخزين أو سجل. ينبغي أن توضح المصفوفة أي طبقة مسؤولة عن النتيجة، وألا يُستخدم اسم النموذج وحده في تصنيف كل ضعف. يستلزم تقييم الأثر حفظ العلاقة بين المدخل والمعالجة والتخزين والخدمة الخلفية والمستخدم المستفيد.

تحديد المجال المباشر للنموذج

تشمل اختبارات الثغرات المباشرة سلوك الاستجابة للتعليمات والقيود المعلنة، ومدى احترام النموذج للحدود النصية، مع الانتباه إلى الفرق بين اختبار سلوك متوقع وبين محاولة إثبات تنفيذ أثر في تطبيق كامل. لا ينبغي أن يختبر الفريق إنتاج مواد مؤذية أو عمليات غير مشروعة؛ يمكن استخدام حالات اصطناعية وآمنة لفحص متى يغيّر المحتوى أقل الثقة سلوكاً محدوداً. ويجب أن تصاغ النتائج بحيث تقول ما الذي شوهد في مجموعة وحالة ونموذج وإصدار، لا أن تصف النظام كله بأنه آمن أو مختَرق. تساعد هذه الدقة على تحديد الحاجة إلى اختبار إضافي على طبقة الأداة أو البيانات.

المجال المتعلق بالمسارات

يمكن أن يدخل المحتوى عبر رسالة مستخدم أو مستند مسترجع أو صفحة ويب أو بريد أو نتيجة أداة. إذا احتوى هذا المصدر تعليمات تبدو أعلى سلطة، ينبغي أن تختبر المنظومة فصل البيانات عن أوامر التشغيل. لا يعني نجاح النموذج في تجاهل هذه التعليمات أن نظام التخزين يمنع كشف مستندات أخرى، كما لا يعني ظهور رد غير مرغوب أن البيانات خرجت فعلاً. لذلك يرتبط الاختبار بمصدر مدخل معلوم وحد ثقة واضح ونوع أثر متوقع، مع استخدام مواد تجريبية لا تحوي أسراراً. وتُفحص الاستجابة مع سجلات الاسترجاع والأدوات لتجنب الحكم من النص النهائي وحده.

المجال متعدد الوسائط

يضيف إدخال صورة أو ملف صوت أو مستند مركب مراحل استخراج وتفسير وبيانات وصفية قد لا تظهر في واجهة المحادثة. يجب أن يحدد الفريق ما الذي يدخل إلى النموذج بعد OCR أو التفريغ، وما حقوق مصدر الملف، وكيف تُنقل النصوص الناتجة إلى أداة أو قرار. يمكن استخدام ملفات اختبار اصطناعية تحمل علامات معلومة، مع التأكد من أن المحتوى الخارجي لا يكتسب سلطة بسبب تحويله إلى نص. ولا يعمم نجاح قناة النص على الصوت والصورة دون تغطية. كما لا يجوز استهلاك موارد ضخمة لاختبار الوسائط خارج حدود الكلفة والتشغيل المتفق عليها.

اختبار الوكلاء كأفعال

عندما يكون النظام وكيلاً يستطيع قراءة ملفات أو إرسال رسالة أو إنشاء سجل، يتغير معيار النجاح من ملاءمة جواب إلى صحة الفعل والتفويض. يُختبر ما إذا كانت طبقة التنفيذ تتحقق من هوية المستفيد الأصلي والدور والإجراء والأصل، لا مجرد اختيار النموذج لأداة. ويمكن أن يكون طلب أداة غير مناسب مؤشراً على قصور سلوكي بينما يمنع نظام الخلفية تنفيذه. يجب فصل الحالتين عند التقرير، واستخدام بيانات ومعاملات اختبارية قابلة للعكس أو محاكاة موثوقة. إذا لم تتوفر سجلات التنفيذ يصنف أثر الأداة غير حاسم بدلاً من افتراض وقوعه.

المجال الاقتصادي والموارد

قد تتجاوز المخاطر الإجابة النصية إلى استهلاك مفرط للسياق أو الوسائط أو تكرار استدعاءات أدوات. يختبر الفريق الحدود الموضوعة على المعدلات والحجم والميزانية وزمن الاستجابة داخل بيئة مسموحة وبسقوف تمنع تعطيل الخدمة. وينبغي ألا يتحول اختبار الاستنزاف إلى حمل فعلي غير منضبط على جمهور الإنتاج أو مزود لم يوافق على ذلك. تُقاس فعالية ضوابط التقييد وأثرها على المستخدم المشروع، مع توثيق التكلفة والمدة والشروط. لا تعادل زيادة تكلفة بسيطة في حالة محدودة قدرة مثبتة على تعطيل بنية كاملة دون أدلة إضافية.

التغطية بين المجالات

يمكن أن تحتوي الحملة على عشرات السيناريوهات المباشرة ولا تحتوي على حالة واحدة تفحص تفويض أداة عالية الأثر؛ عندها تكون تغطيتها ضعيفة رغم كبر العدد. توضع مصفوفة تربط مجال الاختبار بالأدوار والأصول وحدود الثقة ومصادر الدليل. يُسجل ما استبعد بسبب عدم الصلة أو نقص التفويض، ولا يحتسب الاستبعاد نتيجة ناجحة. وعند عرض نسبة تغطية يجب تحديد المقام وكيف اختيرت الحدود المهمة. كما تذكر المواد والتغييرات غير المختبرة، لأن نجاح اختبار في إصدار معين لا يثبت صلاحية نتيجته بعد إضافة أداة أو نموذج جديد.

الاختيار بناء على المخاطر

يتعين ترتيب المجالات بحسب الأثر المحتمل ودرجة وصول الخصم الممثل وحساسية البيانات وقدرة النظام على الفعل. قد تستحق صلاحيات وكيل متصل ببيانات مالية أولوية مرتفعة رغم وجود عدد أقل من الواجهات، بينما قد تكون دقة تلخيص نص عام أولوية تشغيلية لا أمنية عاجلة. يجب أن يكون الترتيب معقولاً وموثقاً لا نتيجة مؤشر رقمي مزخرف. عند نقص الأدلة ينبغي أن تظهر الحالة في صورة حاجة إلى استطلاع أو تهيئة بيئة قبل منحها درجة خطورة قطعية. ويشارك مالك المخاطر في تحديد أهمية الأصول ومعايير اتخاذ القرار.

تصميم Test Oracle لكل فئة

معيار الحكم في سلوك المخرجات قد يعتمد على قواعد سلامة واضحة وتقييم مراقب، بينما معيار الحكم في أداة تنفيذ هو عدم تغير حالة سجل دون تفويض، وفي تسرب بيانات هو مصدر وثيقة خارج الدور، وفي التوافر هو حدود معدل واستجابة معروفة. يُكتب PASS وFAIL وINCONCLUSIVE بصورة مختلفة بحسب المجال. لا يستبدل سجل الواجهة سجل نظام الخلفية في تقييم الأفعال، ولا يكفي سجل خلفي لتقييم جودة جواب إذا كان هذا موضوع الاختبار. وينبغي أن يكون الهدف قابلاً لإعادة التحقق في بيئة معلوم إصدارها ومصادرها، مع تفسير ما لا يمكن مراقبته.

أمثلة من تطبيق مؤسسي

لنفترض مساعداً يقرأ سياسات الموارد البشرية ويتيح إنشاء مسودة طلب. تختار المؤسسة مجالات اختبار ثلاثة: حدود استرجاع المستندات، وسلوك النموذج عند إدخال مستند غير موثوق، وتفويض أداة المسودة. تستخدم حسابات مصطنعة وأدواراً موثقة، وتربط كل تجربة بمعرف طلب وسجل وصول وحالة بيانات. قد يرد النموذج بجملة غير مناسبة في أحد السيناريوهات بينما يظل نظام المسودات رافضاً تغيير سجل خارج الإذن، ويجب أن يفرق التقرير بينهما. كما قد يعيد الاسترجاع وثيقة خارج الدور حتى إن لم يعرضها النموذج، وهو ضعف يحتاج فحص طبقة البيانات.

ما الذي يقدمه التقرير التنفيذي

يحتاج صاحب القرار إلى رؤية المجالات التي شملها الاختبار ولماذا، والأصول الحرجة التي فُحصت، ونتائج الإخفاق المؤكدة ونطاق الأثر والضوابط التعويضية. لا ينبغي أن يتصدر التقرير عدد المطالبات إذا كانت معظمها متكررة أو منخفضة الأثر. ويجب فصل جودة الخدمة عن أمن التنفيذ، وبيان حالات عدم الحسم، ومن يملك معالجة النتائج. إذا كانت الاختبارات محدودة ببيئة تجريبية تختلف عن الإنتاج، يجب أن يظهر أثر هذا القيد في التوصية. وقد يكون القرار المطلوب توفير سجل أو حساب اختبار بدلاً من إعلان ضعف لم تتأكد شروطه.

المعالجة وإعادة التقييم

تختلف المعالجة باختلاف المجال: قد تحتاج طبقة الاسترجاع إلى تطبيق صلاحيات أفضل، وقد تحتاج أداة وكيل إلى فحص هوية المستفيد، وقد تحتاج منصة المراقبة إلى إشارات أوضح، وقد تحتاج قناة وسائط إلى فصل مصدر البيانات عن الأوامر. لا يعالج كل ذلك بمجرد تشديد مطالبة النموذج. ينبغي أن يُربط كل إصلاح بحالة اختبار انحدار وتاريخ وإصدار، وأن يفحص الحفاظ على الوظائف المشروعة. عند تغيير المورد أو الأدوات تتحدد الاختبارات التي يجب إعادتها وفق المكونات المتأثرة وحدود الثقة، لا وفق جدول ثابت يفتقر إلى السياق.

تمرين تصميم مجال الاختبار

أمامك ثلاث خدمات افتراضية: بوت معلومات بلا أدوات، ومساعد RAG لمستندات موظفين، ووكيل مشتريات يمكنه إنشاء مسودة ERP. صمم مصفوفة توضح المجالات المنطبقة على كل خدمة والأصول والأدوار ومصادر الأدلة المطلوبة. اقترح خمس حالات اختبار آمنة، وحدد معيار PASS وFAIL وINCONCLUSIVE لكل واحدة، وما المجالات التي لا حاجة لفحصها بسبب غياب قدرة ذات صلة. ثم أعد ملخصاً يشرح أي اختبار يحظى بالأولوية إذا كانت مدة المهمة قصيرة، ولماذا لا تسمح نتائج الخمس حالات بحكم شامل على كل مكونات الخدمات.

المصدر والحدود

يرتبط هذا الدرس بالقسم 4.1 Determine Testing Domains في Phase 4 Exploitation & Impact من OWASP GenAI Red Teaming Manual v1.0، أكتوبر 2026، مع الاستعانة بفهرس الأقسام 4.2–4.7 لتقسيم المجالات. توضح الأمثلة كيفية اختيار نطاق دفاعي آمن من دون نشر طرق إساءة استخدام تفصيلية. المحتوى إعداد تحليلي من سيادة AI وليس ترجمة رسمية أو شهادة امتثال؛ وتبقى الاختبارات مقيدة بالتصريح وحدود البيئة والبيانات. رخصة المصدر CC BY-SA 4.0 وتُراعى شروط الإسناد وإعادة الاستخدام.