إدارة مخاطر AI ليست اختبارًا يسبق الإطلاق فقط. ابدأ بتحديد حالة الاستخدام والمخاطر، قيّمها وعالجها، وثق المخاطر المتبقية وقرار القبول، ثم استمر بالمراقبة بعد النشر.
لماذا أصدرت السعودية إطارًا وطنيًا لمخاطر AI؟
أصدرت الهيئة السعودية للبيانات والذكاء الاصطناعي الإطار الوطني لإدارة مخاطر الذكاء الاصطناعي لتوفير منهجية عملية تساعد الجهات الحكومية والخاصة على إدارة المخاطر المرتبطة بتقنيات الذكاء الاصطناعي.
وتوضح سدايا أن المنهجية تغطي أربع وظائف مترابطة:
تحديد المخاطر → تقييم المخاطر → معالجة المخاطر → مراقبة المخاطر
ويهدف ذلك إلى تعزيز موثوقية حلول الذكاء الاصطناعي ودعم الاستخدام المسؤول والآمن وتعزيز الحوكمة والامتثال.
دورة إدارة المخاطر
إدارة المخاطر ليست قائمة تحقق ثابتة.
تحديد المخاطر
ما الذي يمكن أن يحدث؟
قد تأتي المخاطر من البيانات أو النموذج أو المستخدم أو المورد أو البيئة التشغيلية أو طريقة استخدام النتائج.
تقييم المخاطر
ما احتمال وقوع الخطر وما أثره؟
يجب ألا يعتمد التقييم على شدة الضرر فقط، بل على السياق الفعلي لحالة الاستخدام.
معالجة المخاطر
ما الإجراءات التي ستخفض الاحتمال أو الأثر؟
قد تشمل المعالجة تغيير التصميم، أو تحسين البيانات، أو فرض مراجعة بشرية، أو تقييد الصلاحيات، أو إضافة اختبارات، أو تغيير المورد.
مراقبة المخاطر
هل بقي مستوى الخطر كما كان بعد التشغيل؟
قد تتغير البيانات أو النموذج أو المستخدمون أو البيئة أو المورد، وبالتالي قد يتغير ملف المخاطر نفسه.
حالة الاستخدام كنقطة بداية
لا يكفي أن تقول المؤسسة:
نحن نستخدم النموذج X.
النموذج نفسه قد يستخدم في عشرات السياقات المختلفة.
المساعد الذي يلخص وثائق عامة يختلف عن النظام الذي:
- يقيم طلبًا.
- يقدم توصية طبية.
- يتعامل مع بيانات حساسة.
- يدعم قرارًا ماليًا.
- يعمل داخل نظام تشغيلي حساس.
لذلك يجب أن ترتبط المخاطر بحالة الاستخدام، لا باسم التقنية فقط.
معالجة المخاطر والمخاطر المتبقية
بعد تحديد الخطر وتقييمه، تحتاج المؤسسة إلى قرار بشأن المعالجة.
قد يكون القرار:
- تخفيض الخطر.
- تعديل حالة الاستخدام.
- فرض ضوابط إضافية.
- تغيير المورد أو التقنية.
- تقييد الاستخدام.
- عدم الموافقة على الحالة.
لكن تطبيق الضوابط لا يعني اختفاء الخطر.
يبقى ما يسمى المخاطر المتبقية.
وهنا يجب أن يكون السؤال:
هل مستوى الخطر المتبقي مقبول، ومن يملك صلاحية قبوله؟
هذا يحول إدارة المخاطر من نشاط فني إلى عملية حوكمة ومساءلة.
المراقبة بعد النشر
قد ينجح النظام في الاختبار ثم يتغير أداؤه لاحقًا.
ومن محفزات إعادة التقييم:
- تغير البيانات.
- تحديث النموذج.
- تغير المورد.
- إضافة مستخدمين جدد.
- توسع نطاق الاستخدام.
- ظهور حادثة.
- تغير مستوى الأداء.
- ظهور متطلبات تنظيمية جديدة.
لذلك يجب أن يرتبط كل نظام AI بآلية مراقبة ومحفزات واضحة لإعادة المراجعة.
كيف تطبقه المؤسسة؟
يمكن بناء سجل مخاطر AI لكل حالة استخدام يتضمن:
حالة الاستخدام
ما الغرض والنطاق؟
المالك
من المسؤول عنها؟
المخاطر
ما المخاطر المحددة؟
التقييم
ما الاحتمال والأثر؟
المعالجة
ما الضوابط والإجراءات؟
الأدلة
كيف نثبت تنفيذها؟
المخاطر المتبقية
ما الذي بقي بعد المعالجة؟
قرار الاعتماد
من وافق وعلى أي شروط؟
المراقبة
متى ولماذا يعاد التقييم؟
بهذا يصبح الإطار أساسًا لنظام إدارة مستمر بدل أن يكون تقييمًا منفصلًا عن التشغيل.
المفاهيم الرئيسية
- مخاطر الذكاء الاصطناعي
- إدارة مخاطر الذكاء الاصطناعي
- تحديد المخاطر
- تقييم المخاطر
- معالجة المخاطر
- المخاطر المتبقية
- المراقبة بعد النشر
- حالة استخدام الذكاء الاصطناعي
الخطوات العملية
- 1أنشئ سجلًا لحالات استخدام الذكاء الاصطناعي قبل تقييم المخاطر.
- 2حدد المخاطر لكل حالة استخدام وسياق تشغيلها.
- 3قيّم احتمال الخطر وأثره وفق منهجية موحدة.
- 4حدد إجراءات معالجة المخاطر والمسؤول عن تنفيذ كل إجراء.
- 5قيّم المخاطر المتبقية بعد تطبيق المعالجة.
- 6اربط قرار الاعتماد بمستوى المخاطر المقبول وصاحب الصلاحية.
- 7حدد مؤشرات ومحفزات لإعادة التقييم بعد النشر.
الأخطاء الشائعة
- ⚠تقييم النموذج بمعزل عن حالة الاستخدام الفعلية.
- ⚠الخلط بين مخاطر AI والمخاطر السيبرانية فقط.
- ⚠اعتبار التقييم حدثًا لمرة واحدة قبل الإطلاق.
- ⚠تنفيذ ضوابط دون قياس المخاطر المتبقية.
- ⚠عدم تحديد صاحب قرار قبول المخاطر.
- ⚠إهمال تغير البيانات أو النموذج أو المورد بعد النشر.