لا تعتمد الموافقة على إعلان المورد؛ بل على أدلة تخص النظام والسياق والطفل والإصدار.
دليل تقييم حوكمة أنظمة الذكاء الاصطناعي المؤثرة في الأطفال
ما الذي يحلّه الدليل؟
الغرض من هذا الدليل هو تقييم نظام كامل قبل الإطلاق وبعد التغيرات الجوهرية. لا يكفي أن تقدم المؤسسة إعلانًا بأنها تطبق مبادئ الذكاء الاصطناعي المسؤول؛ بل تحتاج إلى سلسلة إجراءات تقبل أدلة واضحة وتحدد من يملك القرار. يركز الدليل على الأنظمة التي يستخدمها الأطفال أو تُعالج فيها بيانات مرتبطة بهم أو قد تتأثر فرصهم وحقوقهم بنتائجها. وهو ترجمة تشغيلية من سيادة لمفاهيم وردت في ورقة المنتدى الاقتصادي العالمي حول سلامة ورفاه الأطفال، ولا يشكل معيارًا معتمدًا أو مشورة قانونية خاصة بولاية معينة. يجب أن يتغير التفصيل بحسب الوظيفة والسياق وشدة الخطر.
نطاق التطبيق وحدود الصلاحية
الخطوة الأولى هي تحديد النظام وإصداره وسياق استخدامه والأطفال المتأثرين بصورة مباشرة وغير مباشرة، بما في ذلك الأنظمة التي تعالج بيانات تخص أطفالًا دون أن يتفاعلوا معها. يجب تسجيل مزود النموذج والناشر وأي أدوات خارجية يمكن أن تنفذ أفعالًا، ومصدر المعلومات الذي يعتمد عليه القرار، وفترات الاحتفاظ بالبيانات. لا تقتصر الخريطة على الخدمة التي تحمل علامة المؤسسة؛ فقد يتغير سلوك النظام عندما يحدث المورد النموذج أو يغير إعدادات الذاكرة أو يضيف تكاملًا مع طرف ثالث. كل نطاق تقييم يذكر الإصدار وتاريخ الفحص والجغرافيا وسياق الاستخدام وحدود ما لم يُختبر، لأن عبارة «خضع للتقييم» بلا تلك الحدود قد تضلل صاحب القرار.
من المسؤول عن التنفيذ؟
يتطلب التنفيذ إشراك مالك النظام وقائد الحوكمة والخصوصية والأمن والتربية ومدير المشتريات بحسب الدور. لا تعني المشاركة أن الجميع يملك حق الموافقة، بل يجب تعيين مالك تشغيل واحد ومسؤول قبول خطر له صلاحية القرار، مع توثيق رأي كل تخصص. ينبغي التمييز بين من يستطيع تعديل الضابط تقنيًا، ومن يستطيع رؤية الإخفاق، ومن يملك قرار تعليق الاستخدام، ومن يعالج شكوى المتضرر. إذا كان صاحب النظام يعتمد على مورد، يجب أن تكون هناك قناة إلزامية للحصول على معلومات الحوادث والتغيرات. توقيع عدة فرق دون تحديد صلاحياتها يصنع مساءلة ظاهرية ويزيد احتمال ضياع القرار بين الأطراف.
استقبال المعلومات الأساسية
يبدأ التقييم بطلب وثيقة حالة الاستخدام، مخطط المعمارية وتدفقات البيانات، سجل النماذج والموردين، تقييم أثر حقوق الطفل، قائمة القدرات والأدوات، سجل المخاطر ونتائج الاختبارات بحسب العمر واللغة. ينبغي فحص كفاية كل مستند للغرض المحدد؛ فلا يكفي أن يحتوي العنوان على كلمة Safety أو Privacy. على المراجع التأكد من وجود نسخة قابلة للتتبع وتاريخ إعداد وصاحب اعتماد ورابط إلى إصدار المنتج المعني. يمكن للمورد حماية أسراره بتقديم تقرير مستقل أو أدلة منقحة، لكن لا يجوز احتساب غياب الأدلة بوصفه نجاحًا. كل ادعاء لا يمكن اختباره يبقى غير مثبت، وتحدد المؤسسة إن كان ذلك يمنع الإطلاق أو يقبل بشروط محددة وفق مستوى الخطر.
المرحلة الأولى: تصور المنفعة والضرر
يكتب فريق العمل بيانًا من فقرتين: المنفعة المحددة المتوقعة من النظام للفئة المقصودة، ومجموعة الآثار السلبية المتوقعة على السلامة والخصوصية والتعلم والاستقلالية والكرامة والشمول. تُفحص آثار الأطفال الذين لا يستخدمون الأداة مباشرة، مثل من تُقيّم طلباتهم بواسطتها أو تظهر بياناتهم في محادثات الآخرين. ثم يتم ترتيب السيناريوهات بحسب الخطورة والاحتمال والقدرة على الاكتشاف وإمكان التراجع عن الأثر. لا تعتمد المؤسسة على تصنيف عام مثل «منخفض المخاطر» دون بيان المعايير التي أُجري التصنيف بها والافتراضات الناقصة.
المرحلة الثانية: خريطة البيانات والسلطة
ترسم خريطة للمدخلات والمخرجات والاستدلالات والذاكرة والأدوات وربطها بالأدوار والجهات. إذا استطاع النظام إرسال رسالة أو تغيير سجل أو مشاركة بيانات، توثق المؤسسة نطاق التفويض والقيود الزمنية والأفعال التي تتطلب موافقة بشرية. تُفحص البيانات المتعلقة بالأطفال من حيث الغرض والتقليل والاحتفاظ والحذف والإفصاح، وتتبع الخصائص التي قد توهم الطفل بعلاقة إنسانية أو سرية مطلقة. الهدف ليس تجميع جداول شكلية؛ بل تحديد أين توجد قدرة حقيقية على منع الضرر أو إيقافه وعند أي طرف تقع.
المرحلة الثالثة: بناء حالات الاختبار
يتضمن الاختبار حالات استخدام مشروعة وأخرى متوقعة لسوء الاستخدام، وسيناريوهات متعددة التبادلات واختلاف اللغات والأعمار والقدرات والاتصال. توضع حدود قبول واضحة تبعًا للمخاطر: ما الحالات الجسيمة التي لا يمكن تجاوزها؟ وما الانحرافات التي تقبل مؤقتًا بشروط؟ يجب فصل عدم الكشف عن الضرر من الحجب المفرط للمنفعة المشروعة، وتوثيق طريقة انتقاء العينة والقيود الإحصائية. إذا لم تكن لدى الجهة موارد اختبار كافية، يمكن استخدام اختبارات مشتركة أو مراجعة مستقلة، لكن لا ينبغي الادعاء بيقين لا تؤيده الأدلة.
المرحلة الرابعة: مراجعة الأدلة
يُفحص تماسك الوثائق مع السلوك الفعلي لا مجرد اكتمالها. هل اختبرت نسخة النموذج المنشورة فعلًا؟ هل تختبر الشركة سيناريوهات مناسبة للفئة العمرية؟ هل يستطيع المراجع إعادة إنتاج مثال إخفاق معروف؟ هل يختلف الأداء عند تغيير اللغة؟ هل يوجد حفظ للأدلة يتوافق مع قواعد الخصوصية؟ وهل ربط الفريق الاختبار بالضابط والمالك وصاحب صلاحية الإيقاف؟ دون هذا الربط تكون وثيقة النتيجة وصفًا للنية، وقد تسقط صلاحيتها بالكامل بعد تحديث النموذج أو نقل الخدمة إلى مدرسة أو ولاية أخرى.
المرحلة الخامسة: قرار الإطلاق أو التقييد
عدم السماح بإطلاق وظيفة مؤثرة دون فهم حدود السلطة والتصعيد ومعالجة الحوادث ودليل فعالية مناسب؛ أما فجوات الأدلة غير الجوهرية فيمكن توثيقها بشروط وموعد إغلاق. يجب أن ينتج عن المراجعة قرار صريح: مناسب للنطاق المختبر، أو مناسب بشروط موثقة، أو غير مناسب حتى معالجة الفجوة، أو أساس غير كافٍ لاتخاذ القرار. لا ينبغي تبني هذا التصنيف على أنه تصنيف صادر رسميًا من ورقة المنتدى؛ بل هو نظام قرار تقترحه سيادة لتحويل الممارسات إلى إجراءات حوكمة. تسجل الشروط والمسؤول والمهلة والأدلة المطلوبة لإغلاقها، ويُمنع أن يصبح الضغط التجاري سببًا ضمنيًا لتجاوز شرط سلامة جوهري دون موافقة معتمدة ومسؤولية واضحة.
تطبيق على حالة واقعية من حيث النوع لا الحدوث
مدرسة تدرس مساعدًا صوتيًا يولد شرحًا ويحفظ محادثات الطلاب ويرسل إشعارات إلى أولياء الأمور. نعامل هذا المثال بوصفه حالة افتراضية للتقييم وليس حادثة واقعية موثقة. يبدأ الفريق بمخطط الوظائف والبيانات والأطفال المتأثرين، ثم يسأل عن صاحب القرار البشري عند حدوث خطأ، وكيف تُختبر فروق اللغة والعمر، وما حدود الاحتفاظ بالبيانات والذاكرة، وما الذي يحدث إذا غيّر المورد النظام. بعد ذلك تُنفذ تجارب قبول محددة مع مراجعة الأدلة، ويتم رفض الافتراض بأن توقيع العقد أو اعتماد مزود عالمي يعفي الجهة المشغلة من مسؤوليتها عن سياق التطبيق الذي اختارته.
ضوابط خاصة بالأنظمة الوكيلية
عندما يستطيع AI استخدام أدوات أو خدمات خارجية، يجب تصميم صلاحيات مرتبطة بالمهمة والزمن وبحدود كمية ونوعية، وتحديد الأفعال التي تتطلب موافقة مسؤول أو طفل بحسب الملاءمة القانونية والعمرية. تختبر آليات إلغاء التفويض والإيقاف وسجلات الأفعال، ومنع الوكيل من توسيع سلطته بنفسه. المخاطر لا تأتي من قدرة النموذج وحدها، بل من السياق والسلطة التي تمنحها المؤسسة له. قد تكون إجابة تعليمية منخفضة الأثر، بينما إرسال معلومات طفل إلى طرف خارجي أو تغيير سجل دراسي فعلًا غير قابل للتراجع بسهولة ويتطلب ضمانات أعلى.
التعاقد مع الموردين
يحول فريق الشراء نتائج التقييم إلى اشتراطات واضحة للإفصاح عن التغييرات الجوهرية، وتقديم أدلة السلامة، والإبلاغ عن الحوادث، وحقوق المراجعة، ووقف الوظائف، والحذف أو النقل، والاستجابة ضمن مدد متناسبة. يجب تحديد من يستطيع توفير المعالجة للطفل أو الأسرة حتى عندما يقع السبب التقني لدى مزود آخر. الشرط التعاقدي الذي يتحدث عن «مسؤولية المورد الكاملة» دون آلية تعاون وتحقيق لا يوفر قدرة تشغيلية كافية. ومن المهم ألا تضع المؤسسة اشتراطات لا يمكن لمورد صغير توفير أدلتها بوسائل متناسبة ثم تترك السوق لمزودين أكبر دون مقارنة للنتائج.
الرصد بعد الإطلاق
تُراجع الحوادث والبلاغات والفروق في اختبارات الأعمار واللغات، وتُجدد صلاحية القرار بعد التغيرات الجوهرية. يجب تسجيل تاريخ كل تغيير، وصاحب الموافقة، وهل أثّر في الذاكرة أو بيانات الطفل أو أدوات العمل أو نمط التفاعل. يمكن أن تؤدي زيادة البلاغات إلى تحسن اكتشاف الضرر، لا إلى تدهور تلقائي في السلامة، ولذلك تُقرأ المؤشرات مع بيانات الاختبار ومعدلات الاستخدام ونتائج المعالجة. يتضمن التشغيل مراجعة للآثار غير المقصودة للضوابط نفسها، حتى لا يؤدي الحل إلى حجب متعلم أو تعريض خصوصيته للخطر.
علاج الضرر والتعلم المؤسسي
إذا وقع الضرر، ينبغي أن يكون لدى الطفل قناة معروفة وسهلة ومناسبة للعمر، تعترف باستلام البلاغ وتشرح الإجراءات وتتيح مراجعة بشرية حقيقية. تُحفظ الأدلة الضرورية بما يحترم الخصوصية، وتحدد السلطة القادرة على تعليق الفعل أو تصحيحه. لا تنتهي الحادثة عند الرد على صاحب الشكوى؛ بل تتضمن تحليل السبب الجذري وتحديد إن كان الخلل في التصميم أو المورد أو الإعداد أو الإشراف، ثم إعادة اختبار الضابط. وإذا ظهرت آثار متكررة، يجب فتح قرار إطلاق جديد بدل الاستمرار في توثيق بلاغات لا تغير المنتج.
حزمة التسليم النهائية
المخرجات المطلوبة من تنفيذ الدليل هي تقرير جاهزية مشروط بالأدلة وسجل قرار إصدار وخريطة إجراءات تصحيحية. ويجب أن يحتوي كل مخرج على مرجع للمصدر والإصدار والمالك وتاريخ التحديث والقيود وعدم اليقين وقرار الموافقة أو الرفض. لا نوصي ببناء مكتبة ملفات منفصلة لا تربطها علاقات؛ بل سجل أدلة واحد يمكن الانتقال منه إلى حالة الاستخدام والمخاطر والضابط والاختبار والقرار والمراجعة. عند طلب تدقيق مستقل، ينبغي أن يستطيع المراجع إعادة بناء سلسلة القرار دون الاعتماد على تصريحات شفوية أو معرفة شخصية لدى الموظفين.
اختبار جودة الدليل
يعد الدليل ضعيفًا إذا لم يستطع شخص مستقل تطبيقه على نظام محدد والخروج بقرار مبرر. نختبر ذلك بأن نعطيه حالة الاستخدام والإصدار والبيانات المتاحة ثم نرى إن استطاع تحديد فجوات الأدلة ومن يملك الإجراء المطلوب. ينبغي ألا تتساوى حالات عدم توفر الدليل مع حالات اجتياز الاختبار، وألا يختلط الامتثال القانوني بالممارسة الموصى بها. إن كانت هناك قيود في جمع معلومات حساسة عن الأطفال، يجب أن تعالجها طريقة تقييم تحترم حقوقهم لا أن تتجاوزها بحجة التدقيق.
تحديد حدود المصدر
الورقة المرجعية للمنتدى الاقتصادي العالمي تضع خط أساس عالميًا للممارسات والحوافز وليست معيارًا تقنيًا نهائيًا ولا قانونًا ملزمًا. أما تسلسل المراحل وسجل القرارات ومعايير تصنيف الحالة والمخرجات التفصيلية هنا فهي نموذج مقترح من سيادة لبناء ممارسة مهنية قابلة للفحص. يحتاج التطبيق في مؤسسة حقيقية إلى مراجعة محلية للقوانين والسن والالتزامات القطاعية والاختصاصات المهنية، خصوصًا في معالجة الإفصاحات الحساسة عن الأطفال والاحتفاظ بالأدلة وإحالة الحالات إلى الجهات المختصة.
المرجع
World Economic Forum, Children’s Safety and Well-Being in the Age of AI: Best Practices and Incentives, September 2026. تطبيقات سيادة الواردة هنا مستقلة عن النص الأصلي.
ملحق متخصص: ورقة عمل الجاهزية لحالة استخدام محددة
ملف تعريف النظام
سجل اسم الخدمة، رقم الإصدار، اسم مزود النموذج الأساسي، ومزوّد التطبيق، والجهة التي تحدد إعدادات الذاكرة، والأطفال الذين قد يستخدمون النظام أو تؤثر فيهم نتائج استخدامه. اكتب ثلاث حالات استخدام مقصودة وثلاث حالات غير مقصودة لكنها متوقعة. في كل حالة حدد القدرة على توليد محتوى والاتصال الخارجي واتخاذ فعل مستقل وجمع البيانات والاستدلال عنها. لا تفترض أن وصف المورد يغطي سياق مدرسة أو مستشفى أو منصة عامة؛ يتغير الخطر حين يتغير المستخدم أو الهدف أو الصلاحية.
سجل المخاطر والأدلة
لكل سيناريو ضع مصدر الخطر، وطريق الأثر على الطفل، والضابط الوقائي، وطريقة الاختبار، والنطاق العمري واللغوي المختبر، وصاحب القرار، وحدود الدليل. مثال: خطر إفشاء بيانات طالب من خلال أداة إرسال، والضابط حظر التصدير دون موافقة بشرية، والاختبار محاكاة حالات تحميل وإرسال متعددة مع فحص السجلات. إذا ظهرت حالة لم تتوفر لها أدلة، تسجل بوصفها Gap ولا تحوّل إلى علامة نجاح. بعد تحديث النموذج، يجب إعادة اختبار التدفقات المتأثرة بالذاكرة أو التكاملات، حتى لو بقي اسم المنتج ثابتًا.
قرار جاهزية
يُعرض القرار بصيغة عملية: قابل للنشر في نطاق معين، أو مشروط بإغلاق مسائل محددة، أو غير جاهز بسبب خطر جوهري، أو أساس الدليل غير كافٍ. اشرح ما الذي يمنع ترقية الحالة ومتى تعاد المراجعة، ومن يملك سلطة تعليق الاستخدام. لا تستخدم أرقام جاهزية غير قابلة للتفسير، ولا تجمع درجات مرتفعة في وظائف بسيطة لتعويض إخفاق شديد في وظيفة عالية الأثر.