الاختبار العدائي
Red Teaming
اختبار الفرق الحمراء هو محاولة منظّمة لاختراق نظام ذكاء اصطناعي بأساليب عدائية لكشف مخاطره قبل النشر.
شرح تفصيلي
يُنفَّذ عبر فرق مستقلة تحاكي الخصوم: حقن تعليمات، تسميم بيانات، استخراج نموذج، توليد محتوى ضار، تجاوز الحواجز، انتحال هوية. تُوثّق النتائج، وتُحدَّد المخاطر، ويُبنى خطة معالجة. يُوصى به قبل النشر وبعد كل تحديث جوهري، ويُشترط في قانون الاتحاد الأوروبي للذكاء الاصطناعي للنماذج ذات المخاطر النظامية.
مثال عملي
قبل إطلاق روبوت خدمة، ينفّذ فريق أمن اختبار حقن تعليمات، وتسريب بيانات، وتجاوز حواجز؛ تُغلق النقاط قبل الاعتماد.