لماذا تفشل سلامة الذكاء الاصطناعي عندما تكافئ المؤسسة النمو أكثر من السلامة؟

السلامة قد تفشل رغم وجود السياسات

من السهل تفسير ضعف سلامة الذكاء الاصطناعي على أنه مشكلة تقنية: مرشح لم يلتقط مخرجًا ضارًا، اختبار لم يغط حالة نادرة، أو نموذج تغير سلوكه بعد تحديث. لكن تقرير Children’s Safety and Well-Being in the Age of AI: Best Practices and Incentives يضيف طبقة أكثر صعوبة: قد تكون الضوابط والسياسات موجودة، ومع ذلك تدفع المؤسسة نفسها فرقها إلى سلوك يناقض أهداف السلامة لأن الحوافز التجارية والتنظيمية لا تكافئ النتيجة التي تقول المؤسسة إنها تريدها.

هذه الفكرة مهمة لأنها تفسر لماذا لا تكفي وثائق Responsible AI وحدها. إذا كانت قرارات المنتج تقاس بسرعة الإطلاق، ونمو المستخدمين، والوقت داخل الخدمة، ومعدل العودة، والتحويل، وإنجاز المهمة، والإيراد، بينما لا توجد مقاييس مماثلة لفعالية الضوابط أو تكرار الإخفاقات أو زمن المعالجة أو أثر النظام على الأطفال، فإن السلامة تدخل الاجتماع كتكلفة، بينما النمو يدخل كهدف رسمي قابل للقياس.

لا تحتاج المؤسسة هنا إلى موظفين «سيئين» حتى تنتج نتيجة سيئة. يكفي أن يكون النظام التحفيزي مصممًا بحيث يصبح القرار العقلاني للفريق هو إطلاق أسرع، تقليل الاحتكاك، زيادة التفاعل، أو خفض عدد البلاغات الظاهر بدل تحسين القدرة على اكتشاف الضرر ومعالجته.

الفرق بين Policy Failure وIncentive Failure

Policy Failure يعني أن المؤسسة لم تحدد ما يجب فعله أو لم تبن ضابطًا مناسبًا. أما Incentive Failure فيحدث عندما تعرف المؤسسة ما يجب فعله، لكنها تجعل الالتزام به مكلفًا لمن يتخذه.

مثال ذلك أن تطلب السياسة إعادة تقييم أي تغيير جوهري في النظام، لكن خطة المنتج تكافئ الفريق على عدد الإصدارات وسرعتها دون احتساب زمن التقييم. أو أن تنص السياسة على ضرورة التصعيد عند ظهور خطر على الأطفال، بينما مدير المنتج يُحاسب أساسًا على الاحتفاظ بالمستخدمين وانخفاض الاحتكاك. أو أن تطلب المؤسسة الإبلاغ عن الحوادث، ثم تجعل عدد الحوادث المبلغ عنها مؤشر أداء سلبيًا للفريق نفسه الذي يفترض أن يكتشفها.

في هذه الحالات، لا يكون الخلل في النص المكتوب بل في الاقتصاد الداخلي للقرار. الموظف يتعلم بسرعة ما الذي يكافأ عليه فعليًا، لا ما الذي تقوله صفحة القيم المؤسسية.

عندما تصبح مقاييس النمو مولدًا للمخاطر

التقرير يلفت النظر إلى أن مقاييس مثل الوقت المستغرق، وتكرار العودة، والإفصاح، والتحويل، أو إكمال المهمة يمكن أن تشجع تصميمات لا تتوافق مع رفاه الأطفال. في البيئات الحوارية خصوصًا، قد يدفع السعي إلى زيادة التفاعل نحو رسائل إعادة جذب مستمرة، أو تخصيص مفرط، أو سلوك متملق يبحث عن رضا المستخدم، أو خصائص تشجع الاعتماد على النظام بدل تقوية الاستقلالية والعلاقات البشرية.

المشكلة هنا ليست أن هذه المقاييس «سيئة» بطبيعتها. المشكلة أنها تصبح خطرة عندما تكون المقاييس المسيطرة الوحيدة. فقد يكون ارتفاع الاستخدام علامة على قيمة حقيقية، لكنه قد يكون أيضًا علامة على اعتماد غير صحي. وقد يكون انخفاض البلاغات علامة على تحسن السلامة، أو نتيجة لصعوبة الإبلاغ. وقد يكون ارتفاع إكمال المهام نجاحًا وظيفيًا، أو دليلًا على أن النظام يحل محل التفكير الذي كان يفترض أن يدعمه.

الحوكمة الناضجة لا تلغي مؤشرات النمو؛ بل تمنعها من احتكار تعريف النجاح.

لماذا لا تكفي لجنة Safety إذا لم تملك سلطة قرار؟

أحد أكثر الأنماط شيوعًا أن تنشئ المؤسسة فريق Trust & Safety أو Responsible AI ثم تدخله في العملية بعد أن تكون قرارات المنتج الأساسية قد اتخذت. عندها يتحول الفريق إلى مراجع متأخر: يستطيع كتابة ملاحظة، لكنه لا يستطيع وقف الإطلاق أو فرض تغيير أو طلب Evidence إضافي دون الدخول في تفاوض سياسي مع فريق يملك Timeline وRevenue Commitment.

التقرير يقترح تغيير هذا التوازن من خلال ربط القيادة والميزانيات والترقية وسلطة الإطلاق بنتائج سلامة قابلة للقياس. المعنى العملي ليس إعطاء فريق السلامة حقًا مطلقًا وغير محدود، بل إدخال السلامة في بنية Decision Rights نفسها.

إذا كان Release Gate قابلًا للتجاوز بسهولة عند ضغط تجاري، فهو ليس Gate حقيقيًا. وإذا كان صاحب المخاطر لا يملك حق التصعيد إلى مستوى أعلى، فهو ليس Owner فعليًا. وإذا كانت ميزانية الاختبار أو red-teaming أول ما يخفض عندما يقترب موعد الإطلاق، فالمؤسسة تعلن ضمنيًا أن السلامة متغير قابل للتنازل بينما الموعد ثابت.

من «أولوية استراتيجية» إلى معادلة مكافأة

يمكن للمؤسسة اختبار صدق التزامها بالسلامة عبر سؤال بسيط: ما الذي يحدث لمن يكتشف مشكلة قبل الإطلاق؟

إذا أدى الاكتشاف إلى لوم الفريق على التأخير، فإن النظام يعاقب الكشف المبكر. وإذا كوفئ الفريق لأنه أخفى المشكلة أو صاغها على أنها «edge case»، فإن المؤسسة صنعت حافزًا للإنكار. أما إذا كان العثور المبكر على الخلل يُحتسب كنجاح في الوقاية، ويُمنح الفريق الوقت والميزانية لمعالجته دون عقوبة غير مبررة، فإن الحوكمة تبدأ بالعمل كمنظومة تعلم.

لهذا يقترح التقرير مؤشرات مثل:

• مدى تبني الضمانات وفعاليتها، لا مجرد وجودها.
• تكرار الإخفاقات المعروفة.
• الزمن اللازم للمعالجة.
• خبرة الأطفال والنتائج الفعلية.
• جودة التنفيذ لا عدد السياسات.

هذه مؤشرات أصعب من Dashboard نمو تقليدية، لكنها أقرب إلى النتيجة التي يفترض أن تحميها الحوكمة.

خطر المؤشر الواحد: عندما يؤدي KPI السلامة إلى تقليل الكشف

حتى مؤشرات السلامة يمكن أن تنتج سلوكًا سيئًا إذا صممت بصورة ساذجة. يعطي التقرير مثالًا مهمًا: إذا ارتبطت المكافأة فقط بخفض عدد الحوادث المبلغ عنها، فقد يصبح الطريق الأسهل لتحقيق الهدف هو تقليل الاكتشاف أو جعل الإبلاغ أصعب.

هذه مشكلة قياس كلاسيكية لكنها خطيرة جدًا في AI Governance. الرقم المرئي ليس دائمًا الظاهرة نفسها. عدد الحوادث قد يرتفع لأن قدرات الكشف تحسنت، لا لأن النظام أصبح أكثر خطورة. وعدد الشكاوى قد ينخفض لأن قناة الشكوى معطلة. وزمن المعالجة قد يتحسن لأن الفريق يغلق التذاكر إداريًا دون حل السبب الجذري.

لذلك لا ينبغي أن تعتمد الحوافز على Indicator منفرد. الأفضل استخدام حزمة تجمع:

• Leading Indicators مثل نتائج الاختبارات ونسب تغطية الضوابط.
• Lagging Indicators مثل الحوادث والآثار بعد النشر.
• جودة المعالجة وإعادة الاختبار.
• Evidence مستقل أو مراجعة خارجية عند الحاجة.
• بيانات نوعية من المستخدمين والخبراء.

بهذا يصبح القياس أقل قابلية للتلاعب وأكثر ارتباطًا بالهدف الحقيقي.

الحوافز الخارجية: لماذا يحتاج السوق إلى رؤية الأداء المسؤول؟

تقول الورقة إن ممارسات السلامة ستبقى غير متساوية إذا كانت تكلفة التصميم المسؤول مرئية للمؤسسة بينما فائدته غير مرئية للسوق. مزود يستثمر في تقييمات متقدمة، وضوابط، وتدقيق، وآليات معالجة قد يدفع تكلفة أعلى من منافس يطلق أسرع ولا يفعل شيئًا من ذلك. إذا لم يستطع العميل أو المستثمر أو المدرسة أو الجهة المشتريّة التمييز بينهما، يصبح السلوك المسؤول اقتصاديًا في وضع أضعف.

لهذا يطرح التقرير فكرة جعل أداء السلامة قابلاً للرؤية والمقارنة من خلال تقارير موحدة، وتقييمات، وشهادات أو Assurance Evidence، ومقاييس يمكن فهمها ومراجعتها. الهدف ليس تحويل السلامة إلى سباق شعارات، بل إعطاء السوق إشارة تسمح للمؤسسات الأفضل بتحويل استثمارها في السلامة إلى ثقة وميزة تنافسية.

لكن هناك شرط حاسم: المقارنة يجب أن تستند إلى تعريفات مشتركة وأدلة مستقلة ذات مصداقية. وإلا ننتقل من Safety Governance إلى Safety Marketing.

المشتريات أقوى من كثير من السياسات

من أكثر أدوات الحوافز واقعية في التقرير Procurement. الحكومة أو المدرسة أو الجامعة أو المؤسسة الكبرى لا تحتاج دائمًا إلى انتظار تشريع جديد حتى تغيّر السلوك؛ يمكنها جعل متطلبات السلامة شرطًا للشراء أو التجديد.

مثلًا، يمكن أن تتضمن شروط القبول:

• Child Rights Impact Assessment عند وجود أثر على الأطفال.
• Safety by Design وAge-Appropriate Design.
• اختبار مستقل أو Evidence مقبول لفعالية الضوابط.
• آلية واضحة للإبلاغ عن الحوادث.
• التزام بإخطار العميل بالتغييرات الجوهرية في النموذج أو الخدمة.
• حقوق تدقيق أو وصول إلى معلومات محددة.
• شروط للإيقاف أو التعليق عند الإخفاقات الجسيمة.

هذه الأدوات تحول Responsible AI من «أفضل ممارسة اختيارية» إلى شرط سوقي له أثر مباشر على الإيراد.

التمويل والتأمين يمكن أن يغيرا معادلة المخاطر

يشير التقرير كذلك إلى دور المستثمرين والممولين وشركات التأمين. عندما ترتبط شروط التمويل أو التغطية بوجود Safety Evidence موثوق، يصبح للاستثمار في الضوابط عائد اقتصادي أوضح. هذه الآلية مألوفة في مجالات أخرى: عندما يغير التأمين تكلفة السلوك، يبدأ مجلس الإدارة بالنظر إلى الضابط كعامل مالي لا كتكلفة امتثال منفصلة.

في سياق AI Safety، يمكن أن تصبح نتائج التقييمات، وسجل الحوادث، وفعالية المعالجة، ونضج إدارة المخاطر مدخلات في قرارات تمويل أو تغطية أو تسعير. التقرير لا يقدم نموذجًا تسعيريًا محددًا، لكنه يوضح المنطق: نقل السلامة من هامش أخلاقي إلى إشارة تؤثر في رأس المال والوصول إلى السوق.

خفض تكلفة السلامة جزء من الحوكمة أيضًا

هناك جانب مهم يمنع قراءة التقرير كدعوة لرفع المتطلبات فقط. بعض الجهات، خصوصًا المدارس والجهات العامة الصغيرة والأسواق الأقل موارد، قد تدعم السلامة لكنها لا تملك مختبرات أو متخصصين أو بيانات اختبار أو أدوات Assurance مكلفة.

إذا جعلنا كل مؤسسة تبني قدراتها من الصفر، قد نخلق نتيجتين سيئتين: إما خروج الجهات الأصغر من السوق، أو تجاهلها للضوابط بسبب الكلفة. لذلك يقترح التقرير الاستثمار في بنية مشتركة: أدوات مفتوحة، مجموعات اختبار، خبرة في safeguarding، تقييم بلغات ناقصة التمثيل، ووسائل Age Assurance تحافظ على الخصوصية.

هذا يضيف مبدأ مهمًا: الحوكمة الفعالة لا ترفع خط الأساس فقط؛ بل تخفض كلفة الوصول إليه حيث يكون ذلك ممكنًا.

لماذا الإفصاح المبكر يحتاج حماية منطقية؟

إذا كانت المؤسسة تعاقب الموظف أو المورد الذي يكشف مشكلة مبكرًا، فإنها تدفع نحو الإخفاء. لذلك يقترح التقرير قنوات سرية للإخطار المبكر، وحماية محددة الزمن للاختبار حسن النية والإفصاح المنسق، وحماية للمبلغين، وتقارير تشرح الخلل والإجراء التصحيحي.

لكن هذه الحماية ليست إعفاءً من المسؤولية. التقرير يربطها بالتعاون، وحفظ الأدلة، والمعالجة المعقولة، والإفصاح اللاحق عندما تقتضي المصلحة العامة. الفكرة هي جعل التعلم المبكر أقل تكلفة من الإخفاء، دون تحويل الإفصاح إلى غطاء للإهمال.

هذه نقطة دقيقة جدًا في Governance Design: المؤسسة تحتاج بيئة تشجع قول «وجدنا فشلًا» قبل أن يصبح حادثًا علنيًا، لكنها تحتاج أيضًا معايير تمنع استخدام «الشفافية» كبديل عن الإصلاح.

Safety-Washing: عندما تصبح الشهادة بديلًا عن النتيجة

ينتهي التقرير بتحذير مهم من Safety-Washing: إنتاج شهادات والتزامات وتقارير دون Evidence يثبت أن الأطفال أصبحوا أكثر أمانًا وقدرة واستقلالية. ولذلك يدعو إلى مقاييس ومعايير أدلة متفق عليها، وتحقق مستقل، وتجديد دوري بدل الاعتراف الدائم غير المشروط.

هذا يغير معنى Assurance. الشهادة ليست نهاية المسار، بل Snapshot لحالة معينة في وقت محدد، يجب أن تبقى قابلة للمراجعة عندما يتغير النموذج أو الاستخدام أو المخاطر. إن كانت المؤسسة تحصل على ختم ثم تغير خصائص جوهرية بعد شهر دون إعادة تقييم، أصبحت الشهادة أداة تسويق أكثر منها آلية ضمان.

نموذج حوافز مؤسسي قابل للتطبيق

يمكن ترجمة منطق التقرير إلى خمس طبقات مترابطة:

1. Board & Executive Incentives

يجب أن تكون السلامة ضمن مؤشرات القيادة والرقابة، وأن يكون هناك Executive Owner معروف، وأن تتوازن مقاييس النمو مع مؤشرات المخاطر والضوابط والنتائج.

2. Product & Release Incentives

يجب أن تكون Release Gates حقيقية وغير قابلة للتجاوز إلا ضمن Exception Process واضح، وأن يحتسب اكتشاف الخلل مبكرًا كقيمة لا كفشل.

3. Commercial Incentives

المشتريات والتجديد والشراكات والأسواق يجب أن تميز المزود الذي يقدم Evidence موثوقًا عن المزود الذي يقدم Claims فقط.

4. Assurance Incentives

التقييم والتدقيق والشهادات يجب أن تركز على الفعالية، مع تجديد ومراجعة بعد التغيرات الجوهرية، لا على وجود الوثيقة أو اجتياز اختبار مرة واحدة.

5. Learning Incentives

يجب أن تكون المؤسسة قادرة على كشف الأخطاء والإبلاغ عنها دون دفع الفرق إلى إخفائها، مع محاسبة واضحة عند الإهمال أو التكرار أو عدم المعالجة.

كيف تختبر المؤسسة وجود Incentive Misalignment؟

الاختبار الأكثر فائدة ليس سؤال الموظفين إن كانوا «يؤمنون بالسلامة»، بل مراجعة القرارات الفعلية:

• من يحصل على Bonus عند زيادة Engagement؟
• من يتحمل تكلفة تأخير الإطلاق من أجل اختبار إضافي؟
• هل يستطيع Safety Owner إيقاف الإصدار؟
• ماذا يحدث إذا ارتفع عدد الحوادث بسبب تحسن الكشف؟
• هل Procurement يطلب Evidence أم يشتري بناء على السعر والميزات فقط؟
• هل Vendor Renewal يتأثر بسجل السلامة والمعالجة؟
• هل Incident Disclosure يؤدي تلقائيًا إلى عقوبة أم يميز بين الكشف المبكر والإهمال؟
• هل الشهادات والتقييمات يعاد فحصها بعد Material Change؟
• هل مجلس الإدارة يرى Metrics للسلامة بجانب Metrics للنمو؟

إذا كانت الإجابات كلها تميل نحو السرعة والنمو، فلن تصلح المشكلة حملة توعية داخلية.

الخلاصة التنفيذية لسيادة AI

أهم تحول يقترحه التقرير هو الانتقال من Safety by Policy إلى Safety by Incentive Architecture. السياسات تحدد ما الذي تريده المؤسسة، لكن الحوافز تحدد ما الذي سيفعله الناس عندما تتعارض الأهداف تحت الضغط.

في أنظمة الذكاء الاصطناعي المؤثرة في الأطفال، يصبح هذا أكثر حساسية لأن بعض الأضرار لا تظهر فورًا، وقد تكون موزعة على الاستقلالية والعلاقات والتعلم والخصوصية والثقة. بينما تكون فوائد النمو والإيراد والإطلاق مرئية وفورية. إذا لم تُعدّل المؤسسة هذا الاختلال، ستظل القرارات تميل إلى ما يمكن قياسه ماليًا في الربع الحالي على حساب ما قد يظهر أثره لاحقًا.

المؤسسة الناضجة لا تطلب من فرقها «أن تكون أكثر مسؤولية» ثم تترك نظام المكافآت كما هو. هي تعيد تصميم Decision Rights، KPIs، Release Gates، Procurement، Assurance، Disclosure، Funding بحيث يصبح السلوك المسؤول هو القرار العقلاني، لا البطولة الفردية التي يدفع صاحبها ثمنًا مهنيًا.

والاختبار الأخير واضح: إذا كان اكتشاف خطر حقيقي قبل الإطلاق يضر بمكافأة الفريق أكثر مما يضر إطلاقه دون معالجة، فالحوكمة مصممة ضد السلامة حتى لو كانت السياسات تقول العكس.