سيادة AI
قراءة 55 دقيقة

مصدر أدلة تقييم GenAI وسلسلة التدقيق وقابلية إعادة التحقق

درس في Evidence Provenance وAudit Trail وربط نتائج تقييم AI بسجلات مصدر موثوقة.

مصدر أدلة تقييم GenAI وسلسلة التدقيق وقابلية إعادة التحقق

الأدلة أساس الضمان

يحتاج برنامج اختبار أنظمة الذكاء الاصطناعي التوليدي إلى معرفة ما الذي فُحص وكيف جُمعت النتيجة ومتى ومن أي إصدار. يخصص OWASP GenAI Red Teaming Manual v1.0 في المرحلة السابعة موضوعات Test Oracles وReproducibility Controls وCoverage Tracking وMetrics، وهي أساس بناء ملف أدلة يفهمه مراجع مستقل. لا يقتصر الأثر التدقيقي على حفظ صور المحادثات؛ فقد تكون النتيجة المتعلقة بصلاحية أداة أو استرجاع وثيقة بحاجة إلى سجل موثوق من نظام الخلفية. يركز هذا الدرس على مصدر الأدلة وسلسلة حفظها وحدود صلاحيتها وإدارة الفجوات، ولا يقدم تفاصيل تشغيلية لاختبار هجومي على خدمات غير مخولة.

كل دعوى تحتاج نوع دليل

يمكن أن تثبت لقطة واجهة نصاً ظهر للمستخدم، لكنها لا تثبت أن طلب أداة نفذ معاملة. ويستطيع سجل التفويض إثبات قرار رفض أو سماح في طبقة الخلفية، بينما تتيح حالة قاعدة البيانات قبل وبعد تأكيد ما إذا حدث تغيير فعلي. لهذا ينبغي أن تربط كل نتيجة بنوع مصدر مناسب لطبقتها، وأن تفصل ما شوهد مباشرة عن تفسير الباحث له. لا يعني غياب خطأ ظاهر أن النظام آمن إن لم تتوفر سجلات تدعم الحكم المطلوب. كما لا يجوز جعل نتيجة مختلفة عن المتوقع إخفاقاً أمنياً دون معرفة ما إذا كان السبب عطلًا في البيئة أو خطأ إعداد للاختبار نفسه.

تعريف سجل الأدلة

يمكن أن يضم السجل معرف المهمة والحالة والنطاق وحساب الاختبار ونسخة النظام والمكوّن ووقت التنفيذ ومصدر البيانات الاصطناعية ومعيار الحكم والنتيجة ورابط دليل مقيد. يجب أن يوضح من جمع الدليل وكيف عالجه أو نقحه، ومَن يحق له الوصول إليه. ليس من اللازم تخزين كل كلمة في المحادثة إذا كان يمكن الحفاظ على معرفات وملخصات منقحة وفق سياسة المؤسسة، لكن ينبغي أن تسمح الأدلة للمراجع بالتحقق من أساس القرار. عند تغيير وصف النتيجة لاحقاً يجب حفظ ما يربطها بالنسخة التاريخية، حتى لا يبدو الإصلاح وكأنه كان موجوداً أثناء الاختبار الأول.

سلامة الإصدارات

قد يتغير النموذج أو خدمة الاسترجاع أو خادم الأدوات أو سياسة الهوية بين تشغيل وآخر. يحتاج التقرير إلى معرفات التكوين التي تؤثر في معنى التجربة، وأي عناصر لا يستطيع الفريق تثبيتها بسبب المورد الخارجي. لا يجوز مقارنة نتيجتين على أنهما تعكسان تحسناً أمنياً إذا كان المقام أو الإصدار أو البيانات أو حساب الاختبار قد تغير دون تفسير. ويمكن أن يحمل الإصدار الأدنى فشلاً يؤكد حاجة إصلاح، بينما تتطلب النسخة الأحدث إعادة الاختبار قبل الحكم. لا يُمحى السجل السابق عند وصول دليل جديد؛ بل يُضاف ربط بين نتيجة تاريخية وإجراء تغيير ونتيجة تحقق تالية.

مصادر البيانات والحدود

في تطبيق RAG ينبغي أن يعرف المراجع مصدر المستند الذي ظهر، وصلاحيات الحساب، ونسخة الفهرس، وطريقة الوصول إلى الرابط الأصلي. لا تكفي استجابة توليدية تشبه ملفاً محمياً لإثبات أن النظام استرجع ذلك الملف، كما لا يكفي عرض جواب ملائم لإثبات سلامة طبقة البحث. عند اختبار عزل المستأجرين يستخدم الفريق مستندات علامات اصطناعية وحسابات معلومة، ثم يحفظ سجلات الاسترجاع والتفويض وفق إذن محدد. وينبغي أن يكون مخزن الأدلة محمياً من الوصول غير المقصود لأن جمع نتائج الاختبار قد ينشئ نسخة إضافية من محتوى يحتاج إلى تقييد.

أدلة تنفيذ الوكلاء

إذا حاول وكيل استدعاء أداة، يجب أن تفصل السجلات بين معلمات الطلب التي أنتجها النموذج وبين قرار API الخلفي وبين الأثر على نظام الأعمال. قد تكون المعاملة مسموحة لبعض الأدوار لكنها محظورة لحساب تجريبي معين، ويجب أن يذكر التقرير هوية المستفيد الأصلية ونوع الإذن الذي جرى التحقق منه. لا يعني عرض رسالة «تم» وقوع الفعل، كما لا يعني رفض لغوي من النموذج أن API سيمنع أي طلب مستقل. يحتاج الحكم الأمني إلى مصدر موثوق مناسب، وإذا لم يتوفر يجب ألا توضع PASS أو FAIL جزماً عندما يتعلق الادعاء بسلطة التنفيذ.

صلاحيات عرض الأدلة

قد تحتوي سجلات الاختبار على معرفات جلسات أو محتوى مسترجع أو أوصاف أدوات أو عناوين خدمات، ولهذا ينبغي فصل التقرير التنفيذي عن الملحق التقني وتطبيق وصول مقيد. يمكن أن يعرف مالك المخاطر أن خللاً في تفويض أداة يحتاج علاجاً دون الاطلاع على تفاصيل حساسة لا تتطلبها مسؤوليته. وتتولى فرق محددة حفظ المادة الأصلية والتحقق من التعديلات أو التنقيح، وفق الإجراءات المعتمدة لدى المؤسسة. لا ينبغي أن يرسل الباحث كلمات مرور أو نسخ قاعدة بيانات أو بيانات عملاء إلى مستندات عامة بحجة زيادة شفافية التقرير. يقتصر الجمع على ما يحتاجه الإثبات ويُراجع الاحتفاظ دورياً.

التعامل مع نتائج غير حاسمة

قد يحصل الفريق على ملاحظة واضحة لكن لا تتوفر له إمكانية إثبات مصدرها أو سببها. يمكن أن تظهر إجابة غير مناسبة دون معرفة إن كانت ناتجة عن مستند أو ذاكرة أو نموذج، أو قد يتعطل API أثناء تجربة فلا يمكن معرفة ما إذا كان الضابط سيمنع الطلب. عندها يستخدم السجل INCONCLUSIVE ويذكر الدليل المفقود وخطة الحصول عليه ضمن التصريح. لا يجوز احتساب هذه الحالات نجاحاً لرفع النسبة أو فشلاً قاطعاً لزيادة عدد الثغرات، ويجب إظهار أثرها على حدود التغطية والقرار. قد تكون فجوة الرصد نفسها مسألة تحتاج تحسيناً مستقلاً إذا تعذر الحكم على عمليات حساسة.

قياس تغطية مصادر الإثبات

يمكن أن تقيس المؤسسة نسبة حالات الاختبار التي لديها أدلة من الطبقة المناسبة مقارنة بعدد الحالات المنفذة، ونسبة الحدود الحرجة التي فُحصت بحسابات تمثل أدوارها الحقيقية. لكن لا تعني هذه المؤشرات اكتشاف كل الأسطح غير المعروفة، ولا تصلح للمقارنة بين حملات مختلفة في حجم النطاق دون بيان الفرق. ويجب أن يحدد التقرير أي أدوات أو قنوات لم تسمح البيئة بالاطلاع على نتائجها، وكيف يؤثر ذلك في ثقة صاحب القرار. تُستخدم المؤشرات لتحسين التخطيط والمراقبة، لا باعتبارها شهادة خلو من المخاطر.

مراجعة مصدر الحالة

قد يزعم تقرير أن نموذجاً كشف بيانات شخص آخر، بينما تعتمد الملاحظة على نص غير مرتبط بسجل أصل. يحتاج المراجع إلى سؤال: هل توجد وثيقة اختبار ذات علامة فريدة؟ هل أعادتها خدمة الاسترجاع بالفعل؟ وهل كان الحساب ممنوعاً من قراءتها؟ وإذا كانت الحالة متعلقة بتعديل سجل، فهل تغيرت قيمته في نظام الخلفية مع وجود حساب ودور محددين؟ هذه الأسئلة لا تقلل من أهمية السلوك الملحوظ بل تمنع اختلاط التفسير بإثبات أثر لم يحصل. وإذا لم يمكن التحقق، تسجل الحالة وفق درجة اليقين المتاحة وتحدد المعالجة اللازمة لتحسين الدليل.

التحقق من سلسلة التغيير

عندما يدخل إصلاح إلى النظام يجب أن يحمل معرف تغيير وتاريخ نشر ومكوّناً متأثراً وملف تحقق جديداً. يراجع المدقق ما إذا كانت الحالة الأصلية قد أعيد تشغيلها بشروط تسمح بالمقارنة، وهل نجح الضابط الصحيح لا مجرد تغير صياغة الرد. وقد يلزم إعادة فحص طلب مشروع للتأكد من أن القيود الجديدة لم تمنع الوظيفة المعتمدة. يظل سجل الفشل التاريخي مرتبطاً بنتيجة إعادة الاختبار حتى يمكن فهم سبب الإغلاق ووقته ومَن راجعه. لا ينبغي أن تصبح كلمة Done في نظام إدارة التذاكر بديلاً عن دليل حديث على فعالية التحكم.

سجل قرار المخاطر

قد يحتاج صاحب العمل إلى اتخاذ قرار تشغيل مؤقت حين تبقى حالات غير حاسمة أو نتائج بحاجة إلى معالجة طويلة. يجب أن يرى طبيعة الأصل والحد الذي فشل أو تعذر التحقق منه والضوابط التعويضية وما يلزم لإعادة التقييم، مع جهة مسؤولة عن القبول والمدة. لا يملك فريق الاختبار سلطة عامة لقبول جميع المخاطر نيابة عن المؤسسة، كما لا يحل نجاح اختبار معين محل التزامات تنظيمية أو تعاقدية خارج نطاقه. تُعرض القرارات بصورة تفصل بين نتيجة فنية مثبتة وخيار إداري اتخذ ضمن شروط، ويمكن إعادة فتحها عند تغير المورد أو زيادة حساسية الاستخدام.

إجراءات جودة التقرير

تستخدم فرق المراجعة قائمة تحقق تشمل صحة هوية الحالة، وكفاية المصدر، ووضوح معيار الحكم، وتطابق الإصدار، وحفظ سرية الأدلة، ووجود مالك معالجة، وبيان التغطية والقيود. لا يجوز اعتماد مادة لأن عدد كلماتها طويل أو لأنها تتضمن أسماء أطر معروفة؛ فالمضمون يحتاج إلى علاقة صريحة بين الادعاء والواقعة والنتيجة. ينبغي أن يستطيع مراجع آخر فهم ماذا سيفعل للتحقق من إصلاح معين دون معرفة تفاصيل جلسة الباحث الشخصية. كما يجب أن يظهر ما إذا كانت بعض الفئات لم تدخل نطاق المهمة، حتى لا يوحي التقرير بشمول غير صحيح.

تمرين إنشاء حزمة دليل

أمامك تطبيق تجريبي يسترجع سياسة مؤسسة ويعرض إمكانية إنشاء مسودة. صمم ثلاث حالات: سؤال مشروع من حساب يحق له قراءة الوثيقة، ومحاولة استرجاع مستند اصطناعي خارج الدور، وطلب أداة مسودة من حساب لا يملك صلاحيتها. لكل حالة حدد المصدر المطلوب للحكم من الواجهة والاسترجاع والخلفية، وأين تحفظ الأدلة وكيف تمنع تكرار بيانات حساسة. ثم افترض أن أحد مصادر السجل غير متاح، واكتب نتيجة غير حاسمة بدلاً من فرض حكم. أضف معرف إصدار وتاريخاً ومالكاً لكل إجراء تصحيح، وخطة إعادة اختبار تحافظ على الوظيفة المشروعة.

بيان حدود المعرفة

ليس من الضروري أن يستطيع المختبر فحص داخل النموذج المستضاف أو معرفة بيانات تدريبه كي يقيم تفويض تطبيقه الذي يملكه. لكن ينبغي أن يميز ما يستطيع التأكد منه وما يظل خارج رؤيته. وإذا كانت بعض الأدلة تعتمد على إفادة مورد، يجب أن تعرف الجهة القارئة نطاق تلك الإفادة وتاريخها وما إذا كانت تشمل النسخة التي تستخدمها المؤسسة. لا تحل الشهادة العامة محل سجل تنفيذ محلي عندما يكون الادعاء متعلقاً بأداة المؤسسة. يساعد هذا الوضوح على توزيع المسؤوليات بصورة واقعية بدلاً من افتراض السيطرة المطلقة أو تحميل المورد كل خطأ.

المصدر والتراخيص

المصدر هو Phase 7 Evaluation & Reporting من OWASP GenAI Red Teaming Manual v1.0، أكتوبر 2026، وخاصة 7.1–7.5 حول منهجية التقييم ومعايير الحكم وإعادة الإنتاج والتغطية والمقاييس. هذا المحتوى تصميم تعليمي مستقل من سيادة AI يركز على جاهزية الأدلة للتدقيق، ولا يمثل ترجمة رسمية أو اعتماداً من OWASP. لا يجوز استخدام أمثلة الاختبار خارج نطاق تفويض مشروع، ويجب الحفاظ على حماية البيانات، واحترام رخصة CC BY-SA 4.0 عند اقتباس أو تكييف مواد المصدر.

سجّل الدخوللحفظ تقدمك.

انضم لمجتمع سيادة AI التفاعلي على واتساب

كن جزءًا من مجتمع المهتمين بحوكمة الذكاء الاصطناعي وسيادته، وتابع النقاشات والمستجدات.

انضم الآن