كيف تدقق أثر النظام بعد إعادة التدريب أو تغيّر البيانات؟

متى يجب فتح تدقيق خارج الدورة؟

• إعادة تدريب النموذج على بيانات جديدة.
• تغيّر جوهري في فئات المستخدمين أو الشرائح.
• تغيّر جوهري في سياق التشغيل أو حالة الاستخدام.
• تغيّر تنظيمي يمسّ الحالة (قانون، رقابة قطاعية).
• ملاحظة مراقبة دون إجراء تصحيحي مغلق.

لماذا يجب تحديث تقييم الأثر؟

لأن الأثر يعتمد على البيانات والسياق. تغيّر أي منهما يجعل تقييم الأثر السابق غير كافٍ لتبرير القرارات الحالية.

الأدلة التي يطلبها المدقق

• سجل الإصدارات (بيانات، نموذج، معاملات).
• مقارنة الأداء قبل/بعد على الإجمالي وعلى الشرائح الفرعية.
• إعادة تقييم مقاييس التحيّز مقابل نطاق الأداء المقبول.
• تحديث بطاقتي النموذج والنظام.
• محضر مراجعة تقييم الأثر واعتماده.
• تحديث خطة المراقبة والعتبات.

خطوات عملية

1. صنّف التغيير: جوهري / غير جوهري وفق معايير مسبقة.
2. جمّد الإفراج حتى اكتمال إعادة تقييم الأثر.
3. أعِد تشغيل حزمة اختبارات الأداء والعدالة.
4. حدّث الوثائق والبطاقات وسجل المخاطر.
5. وثّق قرار الاستمرار/التعديل/الإيقاف.

أخطاء شائعة

• اعتبار إعادة التدريب حدثاً تقنياً بلا حوكمة.
• الإفراج قبل إغلاق مراجعة تقييم الأثر.
• الاكتفاء بمقاييس الأداء الإجمالي دون الشرائح.

متى يُعاد تقييم الأثر

يُعاد تقييم أثر نظام الذكاء الاصطناعي بحسب ISO/IEC 42005 عند: تغيير جوهري في الغرض، توسّع نطاق البيانات، تغيير مزود النموذج الأساسي، إعادة تدريب على بيانات مختلفة جوهرياً، أو ظهور مؤشرات ضرر في الإنتاج.

خطوات تدقيق ما بعد التغيير

1. مقارنة سياق الاستخدام قبل وبعد التغيير.
2. تحديث سجل المخاطر وأصحاب المصلحة.
3. تنفيذ اختبارات انحدار على الأداء والعدالة والمتانة.
4. مقارنة توزيع المدخلات والمخرجات مع خط الأساس.
5. توثيق النتائج داخل حزمة الأدلة.
6. قرار اعتماد صريح من مالك النظام.

مؤشرات إشعال المراجعة

• انحراف مقاييس الأداء الرئيسية عن العتبة.
• زيادة الشكاوى أو حالات الاستئناف.
• تنبيهات مراقبة العدالة أو الانزياح.

علاقة بالأطر

يرتبط هذا التدقيق مباشرة بـ ISO/IEC 42001 (المراقبة والتحسين) وNIST AI RMF (وظيفتَي Measure وManage).