مخطط ضمان واختبار تطبيقات النماذج اللغوية قبل الإطلاق
من تحديد المخاطر إلى خطة الاختبار والأدلة وشروط القرار، دون اختراع درجة ثقة أو ادعاء تنفيذ اختبارات.
أداة تفاعلية عربية تساعد فرق الحوكمة والمخاطر والأمن واختبار التطبيقات على تحويل توصيف تطبيق LLM إلى خطة أولية منظمة تشمل نطاق النظام، وإصدارات المكونات، وصلاحيات المستخدمين، ومجالات المخاطر الخمسة الواردة في دليل IMDA، وطرق الاختبار المقترحة، والأدلة المطلوبة، والحدود التي يجب أن تقرها المؤسسة مسبقًا، وشروط إطلاق التطبيق. لا تتصل الأداة بالنموذج المراد تقييمه، ولا تجري اختبارات تلقائية، ولا تنتج شهادة أو اعتمادًا أو درجات سلامة أو التزام قانوني. البيانات المدخلة تبقى في واجهة المتصفح إلى أن يختار المستخدم نسخ التقرير؛ وينبغي عدم إدخال أسرار أو بيانات شخصية حقيقية ضمن مساحة عامة. تعود مسؤولية تشغيل الاختبارات والتحقق من النتائج إلى المؤسسة وصاحب القرار. يظل دليل IMDA مصدر المنهج الطوعي، بينما آلية إنشاء خطة العمل وتصنيف حالات قرار Go وConditional Go وNo-Go وInsufficient Evidence تصميم تشغيلي من سيادة.
مخطط ضمان تطبيقات LLM قبل الإطلاق
ينتج هذا المخطط سجل نطاق واختبارات وأدلة مطلوبة. لا ينفذ اختبارات على التطبيق ولا يصدر علامة موثوقية أو موافقة تلقائية. المدخلات تبقى داخل هذه الصفحة حتى تختار نسخ التقرير.
نواقص البيانات (11)
- اسم التطبيق
- الإصدار الخاضع للاختبار
- الاستخدام والقرار المتأثر
- المستخدمون وحدود أدوارهم
- البيانات وتصنيفها
- النموذج وRAG والتبعيات
- الأدوات والأفعال المسموحة
- الولاية والاشتراطات المطبقة
- صاحب القرار والمسؤولية
- الأدلة المتاحة والفجوات
- حدود القبول المسبقة
لا يمثل ناتج المخطط تقرير اختبار منفذ أو شهادة أو موافقة تلقائية. يلتزم فريق المؤسسة بتوثيق النتائج الفعلية وقبول المخاطر.
المرجع الكامل للمنهجية
التفاصيل الكاملة للمنهجية، والأبعاد، ومستويات قابلية الحوكمة، والأدلة، والنتائج، والامتدادات المؤسسية.
دليل تحديد نطاق اختبارات LLM والمخاطر ذات الأولوية وفق منهج Identify
كيف تحدد مخاطر التطبيق ونطاقه ومكونات الاختبار وحدود القرار قبل تشغيل Benchmarks.
مقالات مرتبطة
قراءات تحليلية تساعد على فهم الأساس الفكري والتطبيقي للمنهجية.
حدود قبول السلامة والاعتمادية لتطبيقات LLM: من الاختبار إلى قرار الإطلاق
منهج عملي لصياغة الحدود الكمية والحرجة وتوثيق قرار النشر وإعادة الاختبار.
اختبار النموذج أم التطبيق؟ أين تبدأ وتنتهي مسؤولية AI Assurance؟
تمييز اختبار النموذج عن ضمان منظومة LLM بأدواتها واسترجاعها وصلاحياتها وقرارها البشري.
المفاهيم الأساسية
المصطلحات الأساسية المستخدمة في إطار سيادة لقابلية حوكمة الذكاء الاصطناعي.
اختبار مكونات تطبيق LLM
تقييم الأجزاء الداخلية لتطبيق النموذج اللغوي مثل الاسترجاع واختيار الأدوات والتحقق من الوصول والتصفية.
عتبة قبول السلامة
شرط صريح ومسبق يحدد حدود الفشل التي يمكن قبولها لاستخدام محدد وفق خطورته، ولا يساوي درجة معيارية عالمية.
اختبار تطبيقات النماذج اللغوية الكبيرة
تقييم لسلوك تطبيق مكتمل يستخدم نموذجًا لغويًا مع تعليمات واسترجاع وأدوات وضوابط، وليس قياسًا منفصلًا للنموذج فقط.
حزمة الأدلة
حزمة الأدلة هي مجموعة موثقة من المخرجات التي تُثبت أن ضوابط نظام الذكاء الاصطناعي مطبّقة وفعّالة.
تسرّب البيانات
تسرب البيانات في الذكاء الاصطناعي هو ظهور بيانات حساسة داخل مخرجات النموذج أو تدفقاته دون تفويض.
اختبار مخرجات تطبيق LLM
فحص الاستجابات والسلوك الظاهر للتطبيق عند إدخال حالات اختبار محددة.
خط الأساس للسلامة والاعتمادية
مستوى متوقع ومعلل من خصائص السلامة والاعتمادية يُحدد وفق سياق استخدام التطبيق ومخاطره.
النموذج اللغوي الكبير
النموذج اللغوي الكبير (LLM) هو نموذج ذكاء اصطناعي مُدرَّب على كميات ضخمة من النصوص لفهم اللغة وتوليدها.
التأكيد المستمر
نهج مستمر لجمع الأدلة ومراجعة فعالية الضوابط بدل الاعتماد على فحوص دورية منفصلة.
حزمة أدلة اختبار تطبيق LLM
مجموعة السجلات والنتائج والإصدارات التي تسمح بتتبع اختبار التطبيق وإعادة تقييم قرار إطلاقه.
ضمان الذكاء الاصطناعي
ضمان الذكاء الاصطناعي هو تقديم أدلة موضوعية ومستقلة على أن النظام يعمل وفق الغرض المُعلن ضمن حدود مخاطر مقبولة.
الإفراط في رفض الطلبات
رفض النموذج أو التطبيق طلبات مشروعة وآمنة بسبب ضوابط مشددة أو تصنيف خاطئ للمخاطر.
الهلوسة
الهلوسة هي إنتاج نموذج توليدي لمحتوى يبدو معقولاً لكنه غير صحيح واقعياً أو مختلق.
اختبار الضوابط
تقييم منظم لتصميم الضابط وتنفيذه وفعاليته باستخدام أدلة ومعايير محددة.
حواجز الحماية
الحواجز (Guardrails) هي ضوابط تقنية تُقيّد سلوك نموذج الذكاء الاصطناعي وتمنعه من تجاوز حدود محددة.
الاختبار العدائي للمطالبات
اختبار مقاومة التطبيق لمحاولات متعمدة لتغيير سلوكه أو تجاوز ضوابطه باستخدام مدخلات مصممة للهجوم.
تمثيلية مجموعة الاختبار المرجعية
مدى تمثيل حالات الاختبار المرجعي لفئات الاستخدام والمخاطر واللغات والقرارات الفعلية للتطبيق.
اختبار الذكاء الاصطناعي قبل الإطلاق
عملية تقييم موثقة للنظام أو التطبيق قبل إتاحته للاستخدام التشغيلي، تشمل شروط القبول وسيناريوهات الفشل والأدلة.
الذكاء الاصطناعي التوليدي
الذكاء الاصطناعي التوليدي هو نماذج تُنتج محتوى جديداً (نص، صورة، صوت، كود) بناءً على أنماط تعلّمتها.
التحيز الضار
تحيز في البيانات أو النموذج يؤدي إلى ضرر أو تمييز غير مبرر. مفهوم أساسي في حوكمة الذكاء الاصطناعي يُستخدم داخل ضوابط ISO/IEC 42001 و NIST AI RMF لتحديد المسؤوليات وأدلة التدقيق المرتبطة بـ التحيز الضار.
الأطر المرجعية ذات الصلة
ترتبط هذه المراجع بالموضوعات التي تتناولها المنهجية. وجودها هنا لا يعني اعتماد SGAF منها أو اعتمادها لـSGAF.
