اختبار استمرارية تأثير المحتوى في ذاكرة الوكلاء والحالة المشتركة

اختبار استمرارية تأثير المحتوى في ذاكرة الوكلاء والحالة المشتركة

الاستمرارية ليست مجرد حفظ بيانات

يتناول قسم 5.3 Testing for Persistence في دليل OWASP GenAI Red Teaming Manual v1.0 أثر المحتوى أو التكوين الذي يبقى مؤثراً بعد تفاعل أولي. ينبغي التمييز بين تخزين رسالة داخل سجل محادثة، واسترجاعها في جلسة لاحقة، وتحولها إلى سلوك أو إجراء مثبت. فوجود نص غير موثوق في ذاكرة لا يعني أنه منح المهاجم قدرة مستمرة على النظام، كما لا يعني نجاح تأثير واحد في نسخة اختبار أن جميع المستخدمين معرضون له. يحتاج التقييم إلى تتبع مصدر النص ومَن يستطيع كتابته وقواعد قراءته وتاريخ انتهاء صلاحيته ثم مراقبة نتيجة لاحقة ضمن نطاق مصرح. والهدف هنا تحسين ضوابط الذاكرة والحالة والاسترجاع لا بناء آليات هجومية خارجية.

أنواع الحالة في النظام

قد يحتفظ التطبيق بسجل رسائل في جلسة واحدة، أو ملخص سياق يجري تحديثه، أو ذاكرة طويلة الأجل، أو نتائج أدوات، أو مستندات في مساحة مشتركة، أو طوابير وظائف تنتظر التنفيذ. تختلف صلاحيات الكتابة والقراءة والحذف لكل عنصر، وقد يتغير معنى المخاطر بين حالة مرتبطة بمستخدم واحد وأخرى ترتبط بمجموعة أو مستأجر كامل. ينبغي أن يرسم الفريق موقع التخزين والجهة المالكة وعملية إعادة الاستخدام والشروط التي تجعل الحالة متاحة للنموذج مرة أخرى. لا يجوز أن يطلق اسم «ذاكرة» على جميع هذه الأصول ثم يفترض لها سلوكاً واحداً. يحدد الجرد ما يمكن اختباره وما يتطلب صلاحية إضافية أو تأكيداً من المورد.

حد المستخدم وحد المستأجر

أحد أهم أسئلة الاستمرارية هو هل يقتصر أثر محتوى محفوظ على الحساب الذي أنشأه أم يصل إلى حساب آخر بصورة مشروعة أو خارج الدور. تستخدم اختبارات منفصلة بحسابات اصطناعية في بيئة تجريبية، ويجب ألا تستعمل بيانات شخصية أو حسابات حقيقية. وإذا ظهر النص في جلسة ثانية، ينبغي معرفة هل استُرجع من مساحة مشتركة تسمح بالقراءة أم من خلط غير مشروع بين ذاكرات خاصة. ولا يعني وصول نص إلى مستخدم آخر اختطاف جلسته أو الحصول على صلاحياته، ما لم يثبت ذلك بسجلات تنفيذ وسلطة مستقلة. تتطلب النتائج دقة في وصف نطاق التأثير بدلاً من استخدام مصطلحات واسعة.

خط الأساس قبل التقييم

يُختبر سلوك التطبيق الطبيعي في إنشاء الذاكرة واسترجاعها وحذفها قبل استخدام أي محتوى اختباري غير موثوق. قد يُعيد النموذج معلومة قديمة لأنه استرجع مستنداً بدلاً من ذاكرة شخصية، أو قد تتغير إجابته بسبب تحديث إصدار النموذج لا بسبب المحتوى المحفوظ. يحتاج الفريق إلى توثيق نسخة التطبيق وحالة الفهرس والحساب ووقت الجلسة وطريقة التلخيص، مع معرفات مصدر تجعل الاسترجاع قابلاً للتتبع. لا تكفي مقارنة الجمل النهائية وحدها للحكم، خصوصاً إذا كانت الذاكرة أو الاسترجاع قد يحتويان على مواد متشابهة. يفضل استخدام علامات بيانات اصطناعية فريدة لا تمثل أسراراً.

الفصل بين ظهور النص وتأثيره

يمكن أن يثبت المختبر أن نصاً تجريبياً تم حفظه أو أعيد عرضه في جلسة لاحقة، لكن ذلك لا يثبت بالضرورة أن النظام اتبع توجيهاً غير موثوق أو نفذ عملاً بسببه. يجب أن يتضمن التقييم معياراً إضافياً يحدد الأثر الذي يتوقع من الضابط منعه، مثل ألا تُستدعى أداة غير مخولة أو ألا تتغير حالة سجل أو ألا تعرض بيانات خارج الدور. وإذا ظهر طلب أداة غير مناسب لكن النظام الخلفي رفضه، تسجل النتيجة كتأثر في سلوك النموذج مع فعالية ضابط التنفيذ، لا كتعديل ناجح للبيانات. يساعد هذا التمييز في اختيار علاج يرتبط بالذاكرة أو بالتفويض أو بالاثنين معاً.

أثر الملخصات التلقائية

تختزل أنظمة الوكلاء أحياناً المحادثات الطويلة في ملخصات تستخدم لاحقاً لتقليل التكلفة أو الحفاظ على سياق المهمة. يجب أن تتذكر طبقة التلخيص مصدر المعلومات ودرجة الثقة التي حملتها، وألا تحول اقتباساً من وثيقة إلى قاعدة تشغيل عامة. يمكن أن يظهر الخلل عندما يُعاد استخدام الملخص بوصفه توجيهاً دائماً في جلسة جديدة، رغم أن محتواه الأصلي لم يكن مخولاً بوضع تعليمات. ينبغي أن يُراجع الفريق سياسة إنشاء الملخصات وعزل المستخدم وتاريخ انتهاء استخدامها، وأن يحدد ما إذا كانت هناك طريقة لمحو محتوى غير صحيح من الذاكرة دون التأثير على السجلات المطلوبة للتدقيق.

بيانات أدوات الوكيل

قد تعيد أداة بحث نتيجة من صفحة ويب أو رسالة بريد، ثم تُحفظ تلك النتيجة في سجل أو ذاكرة يمكن لوكيل آخر قراءتها. ينبغي أن تبقى نتيجة الأداة بيانات منخفضة الثقة بالنسبة إلى قواعد تشغيل النظام. وإذا كانت محتويات أدوات مختلفة تجمع في ذاكرة مشتركة، يجب أن يتضح لأي مستخدم أو مهمة تنتمي ومن يستطيع إعادة استخدامها. لا يمنح عنوان الوثيقة أو اسم الخادم صفة رسمية تلقائية للمحتوى، ولا يجوز أن يسمح التخزين بتجاوز تفويض تنفيذ إجراء. يُختبر أثر ذلك على سير عمل اصطناعي له سجلات واضحة وأداة يمكن إيقافها أو محاكاتها.

الاستمرارية عبر تغيير التكوين

قد تتغير نسخة نموذج أو أداة بينما تظل الذاكرة القديمة متاحة، ما يجعل سياقاً قديماً مؤثراً في نظام جديد. لذلك يحتاج البرنامج إلى قواعد لإبطال أو إعادة تقييم بعض الحالات المحفوظة عند تحديث سياسات الثقة أو الأدوات أو الأدوار. لا يعني تغيير الإصدار أن الذاكرة أصبحت غير صالحة كلها، لكن يجب معرفة كيف تتعامل خدمة الاسترجاع مع مواد أنشئت تحت سياسة سابقة. يمكن أن تحتاج المؤسسة إلى إعادة حساب صلاحيات الوصول أو إعادة معالجة ملخصات أو تنظيف عناصر محددة بناء على مراجعة مخولة. لا يصح أن يكون حذف كل السجلات عشوائياً بديلاً عن معالجة موجهة تحافظ على الأدلة اللازمة.

قابلية كشف التأثير المستمر

يجب أن تستطيع المؤسسة تتبع وقت إنشاء عنصر ذاكرة ومصدره وتاريخ استخدامه اللاحق عندما يتعلق بأفعال عالية الحساسية. يمكن للأحداث أن تربط معرف مهمة أو مستخدم بالمحتوى المخزن وبتنفيذ أداة، لكن يجب ألا تحفظ أسراراً أو نسخاً غير ضرورية من بيانات أشخاص. عند اختبار قدرة الكشف يحدد الفريق ما الحدث المتوقع ومتى ينبغي أن يظهر في السجل وما إذا كان يسمح بتمييز استخدام مشروع من سلوك غير متوقع. لا يساوي غياب إنذار آلي بالضرورة وقوع اختراق، لكنه قد يدل على نقص رصد يحتاج معالجة إذا كان هدف المهمة التحقق من الاستجابة.

قياس مدة التأثير ونطاقه

إذا ثبت سلوك مستمر، يوثق الفريق عدد الجلسات الاصطناعية التي ظهر فيها، والفاصل الزمني، والحسابات التي تأثرت، ونوع المكون الذي أعاد المحتوى، ومدى الاعتماد على إعداد معين. لا يقدر نطاق جميع المستخدمين من حالة حساب واحد أو مساحة اختبار صغيرة. ويمكن أن يظهر أثر في سياق قراءة دون أي قدرة تنفيذ، أو قد يكون مرتبطاً بأداة تملك صلاحيات مؤثرة؛ يختلف تصنيف الخطورة وفق ذلك. ينبغي أن يذكر التقرير إمكان التكرار وعوامل عدم اليقين وما لم يتوفر له دليل، وألا يقدم مقارنة بين نسخ مختلفة دون توثيق اختلاف شروطها.

إجراءات الاحتواء

عند وجود نتيجة مؤكدة تتعلق بذاكرة أو محتوى مسترجع، قد تحتاج المؤسسة إلى تعليق استخدام مصدر معين أو عزل مساحة أو إزالة صلاحية أداة أو إجراء مراجعة قبل السماح بإعادة استخدام الذاكرة. يصدر القرار عن مالك التشغيل والمخاطر وفق أثره على الخدمة والبيانات، ولا ينفذه فريق الاختبار عشوائياً على الإنتاج. يجب أن يحدد الإجراء هل يعالج المصدر والجذر أم يحجب الأثر الظاهر مؤقتاً، وما معايير العودة إلى التشغيل. ولا يعد إضافة تحذير للنموذج علاجاً كافياً إذا كان سجل الذاكرة أو آلية صلاحيات الوصول تسمح بتكرار نفس المشكلة.

معالجة الجذر التقني

يمكن أن يرتبط الخلل بغياب عزل ذاكرة حسابات أو بقاعدة معرفة مشتركة يمكن تعديلها دون مراجعة، أو بإدراج محتوى مسترجع في مستوى سلطة أعلى، أو بضعف تفويض أداة بعد الاسترجاع. لكل سبب ضابط ومالك مختلف. ينبغي أن يصمم فريق الهندسة إصلاحاً يُثبت أن المحتوى غير الموثوق لا يفرض توجيهاً دائماً غير مأذون، وأن استخدام الوظائف المشروعة ما زال ممكناً. وتُضاف الحالة إلى اختبارات الانحدار لتعمل عند تغيير سياسة الذاكرة أو خادم الأدوات أو النموذج. تحفظ نسخة النتيجة القديمة وتربط بخطوة الإصلاح بدلاً من مسح أثرها من تاريخ المشروع.

تمرين محاكاة الذاكرة

صمم مساعداً داخلياً يحتفظ بملاحظات تجريبية لمستخدمين في فريق واحد، مع ذاكرة خاصة وحافظة معرفة مشتركة. أنشئ بيانات اصطناعية لا تتضمن محتوى حساساً، وحدد من يستطيع الكتابة لكل حافظة ومن يستطيع الاسترجاع ومن يستطيع حذف عنصر غير صحيح. صغ ثلاث حالات: مادة خاصة لمستخدم لا تظهر لمستخدم آخر، ومعلومة فريق مشتركة تظهر مع مصدرها دون اكتساب سلطة تعليمات، وعملية حذف أو تعطيل تؤدي إلى وقف إعادة استخدام مادة غير صحيحة. اكتب معيار PASS وFAIL وINCONCLUSIVE لكل حالة، وحدد كيف تميز أثر الذاكرة عن تأثير تعديل الفهرس أو إصدار النموذج.

نتيجة تتطلب تحفظاً

إذا أظهر النموذج أثناء الاختبار تكرار عبارة اصطناعية بعد مدة، ينبغي أن يحدد الفريق هل استعادها من نفس الجلسة أو ذاكرة صريحة أو نتيجة بحث أو إعادة توليد دون مصدر. وإذا اختار النموذج أداة بسبب المحتوى، يحتاج الحكم إلى سجل أداة منفصل وإثبات سبب الرفض أو التنفيذ، ولا يكفي وصف المحادثة. تصبح الحالة غير حاسمة عندما لا تسمح الأدلة بنسب المصدر أو الفعل، ويُطلب من المالك تحسين الرؤية بدل ملء الفراغ بفرضية. هذه الدقة لا تقلل من قيمة البحث؛ بل تجعل النتائج مفيدة للحوكمة ولإصلاح السبب الحقيقي.

مراجعة نوعية للمخاطر

تُراجع نتيجة الاستمرارية بناء على الأصول التي تأثرت وقدرة المحتوى على الانتقال ودرجة السلطة التي وصلت إليها والضوابط القادرة على إيقافه. قد يكون ظهور معلومة غير دقيقة بعد جلسة جديدة مشكلة جودة مهمة، لكنه يختلف عن تغيير سجل حساس أو كشف مستند خارج الدور. ويمكن أن تكون الحالة عالية الأولوية إن كان المحتوى يستطيع التأثير في عملية سلامة حرجة، لكن ذلك يحتاج إثباتاً لسلسلة الأثر وحدودها. ينبغي أن يحمل التقرير توصية محددة ومالكاً ومعيار إعادة اختبار بدلاً من دعوة عامة إلى «مسح ذاكرة الذكاء الاصطناعي».

المصدر والحقوق

يستند هذا الدرس إلى القسم 5.3 Testing for Persistence في OWASP GenAI Red Teaming Manual v1.0، أكتوبر 2026، الصفحات 102–108، مع الاستعانة بموضوع Memory Poisoning في 4.2 وبعض مبادئ Post-Exploitation في المرحلة السادسة. الأمثلة تعليمية دفاعية أصلية من سيادة AI وليست ترجمة رسمية أو إثبات حادث في مؤسسة محددة. يجب ألا ينفذ الاختبار إلا بتفويض وفي بيئة آمنة وبمعلومات اصطناعية، وتراعى رخصة CC BY-SA 4.0 للمصدر عند تكييف مادته.