تسميم البيانات والذاكرة ومخاطر التمثيل المتجهي في GenAI

الموضوع والحدود

تتناول فقرة 4.2 Direct AI Vulnerabilities في دليل OWASP GenAI Red Teaming Manual v1.0 جوانب تتصل بالنموذج وذاكرته وبياناته المساعدة وفضاء التمثيل والاسترجاع. لا تعني صفة «مباشر» أن كل سلوك غير متوقع في محادثة يعد اختراقاً فعلياً لبيانات أو صلاحيات؛ فالنتيجة تتوقف على المسار والأصل والدليل. هذا الدرس يعالج التسميم في البيانات والحالة والذاكرة وبعض مخاطر التمثيل المتجهي بطريقة دفاعية، ويربطها بما يجب أن تقيسه المؤسسة دون عرض خطوات عملية لإساءة استخدامها ضد طرف ثالث. ينبغي أن تكون التجارب مصرحاً بها وبمواد اصطناعية، وأن يفصل الحكم بين تغير إجابة النموذج وبين تسرب أو فعل مؤكد.

التسميم قبل التشغيل

قد تؤثر بيانات أو تعليمات جرى إدخالها في مخزن مستندات أو ذاكرة أو سياق لاحق في إجابة مستخدم مختلف. لا يثبت وجود مادة غير موثوقة في المستودع أنها ستُسترجع فعلاً، ولا يثبت استرجاعها أن النموذج سيعاملها كتعليمة. لذلك يبدأ التقييم بتحديد مكان الإدخال ومن يستطيع تعديله وكيف يصل إلى النموذج وما الضوابط المفروضة قبل أن يحول المحتوى إلى إجابة أو أداة. يمكن أن يحمل التسميم محتوى خاطئاً يقدم بوصفه سياسة أو تعليمات تبدو إدارية، ويجب أن يقيس الفريق نسبة وصول المحتوى إلى المستخدم ومدى تأثيره في نتيجة النظام مع توثيق المصدر والتوقيت والهوية.

تمييز الذاكرة عن الجلسة

قد تحتفظ المنصة بتاريخ محادثة أو ذاكرة طويلة الأمد أو تلخيصات تستخدم لاحقاً، لكن لا يجوز افتراض أن جميعها مشتركة بين المستخدمين. يفرق التقييم بين أثر مادة في جلسة المستخدم نفسه وبين انتقالها إلى جلسة منفصلة أو مساحة فريق مشتركة. يذكر المصدر Memory Poisoning وCross-User Context Injection مع التنبيه إلى أن وصول مادة إلى مستخدم ثان يختلف عن الاستيلاء على جلسة مستخدم أو صلاحياته. لذلك يجب أن يختبر الفريق حسابات اصطناعية معروفة، ويثبت أي المستويات تسمح بالاسترجاع وما الذي تغير فعلياً في الإجابة أو الأداة، دون إعلان انتشار واسع من حالة تجريبية واحدة.

حالة تلوث قاعدة معرفة مشتركة

لنفترض أن مساعداً يسترجع ملاحظات قسم الدعم، وأن أحد المستخدمين المصرح لهم يعدل سجلاً يمكن للآخرين رؤيته. من الممكن أن يحمل السجل معلومة خاطئة أو عبارة تحث على إجراء غير مشروع. يختبر الفريق ما إذا كان النظام يسترجع السجل فعلاً عند سؤال مشروع، وهل يعرضه مع مصدر واضح، وهل يحافظ على الفصل بين المعلومة والسلطة. قد تكون النتيجة معلومة مضللة دون أي استدعاء أداة، وقد تتفاقم إذا كان الوكيل يستطيع إصدار تعليمات تنفيذية. يجب الفصل بين الحالتين وتحديد ما إذا كانت المشكلة في حوكمة المحتوى أو في نموذج الثقة أو في التفويض الخلفي.

اختبار استمرارية أثر الذاكرة

يحتاج إثبات الاستمرارية إلى تشغيل حالة لاحقة تحت شروط مضبوطة، وليس مجرد مشاهدة أن الذاكرة تقبل إضافة محتوى. يجب حفظ معرف جلسة ومصدر مادة الاصطناعية وطريقة استرجاعها ونسخة التطبيق، ثم التحقق من تغير سلوك محدد في طلب جديد. قد تتغير الاستجابة نتيجة عشوائية النموذج أو تعديل البيئة، ولهذا يحتاج الفريق خط أساس ومقارنة مع حالة ضابطة. وإذا ظهر أثر في حساب آخر، يجب التحقق من سياسة مشاركة مساحة العمل وعدم تسميته «اختطاف جلسة» إذا لم يثبت الحصول على سلطة جلسة ذلك الحساب. تتطلب النتائج الأمنية الدقيقة تسمية ما حدث لا استخدام عناوين مثيرة.

سلسلة الاسترجاع والتمثيل

تستخدم تطبيقات RAG نماذج Embeddings وقواعد متجهات وخوارزميات بحث وإعادة ترتيب. يمكن أن يتأثر ما يظهر للنموذج بترتيب نتائج البحث أو بوجود مستندات تمت إضافتها حديثاً أو بتكوين مرشح الصلاحيات. لا يثبت ارتفاع التشابه المتجهي أن المستند سيُسترجع دائماً، ولا يثبت ظهور مستند في مجموعة نتائج أنه سيكتسب سلطة تعليمات عليا. ينبغي قياس الأداء على المسترجع المنشور فعلياً لا افتراض نتيجة وفق معادلة تشابه خارج بيئة النظام. ومن المهم تحديد الإصدار والفهرس وبيانات الاختبار ومن يمتلك حق إضافة محتوى إلى corpus.

استرجاع نص من Embeddings

تتناول الوثيقة Embedding Inversion بوصفها عائلة هجمات قد تحاول إعادة بناء بيانات من تمثيلات عددية، لكنها لا تعني أن كل متجه يمكن تحويله فوراً إلى النص الأصلي. تتأثر النتيجة بنموذج التمثيل وطول الإدخال ومدى الوصول وآلية التقييم وكلفة الاستعلام، ولذلك ينبغي تجنب الاستدلال من وجود قاعدة متجهات إلى كشف مؤكد للبيانات. يمكن للمؤسسة مراجعة سياسة الوصول إلى المتجهات والبيانات الأصلية ومن يستطيع الاستعلام والحصول على نتائج، مع قياس مخاطر استرجاع معلومات حساسة وفق منهج مصرح. لا يحتاج الدرس إلى تقديم خطوات استغلال مفصلة حتى يوضح أهمية ضوابط المصدر والعزل والمراقبة.

التحكم بتغذية المستودع

عندما يسمح التطبيق لجهة خارجية بإضافة وثيقة ينبغي تحديد ما إذا كان نشرها يمر بمراجعة أو اعتماد أو توقيع أو تصنيف مصدر. قد يحمل المستند عنواناً يوحي بصفة رسمية، لكن وجوده في قاعدة المعرفة لا يمنحه الثقة تلقائياً. يجب أن تظهر هوية الجهة التي قدمته وتاريخ التحديث وصلاحيات الاطلاع، وأن يظل النص داخله محتوى معلوماتياً لا تعليمات لتغيير سياسة النظام. قد يكون العلاج فصل المساحات أو تحسين ضبط الاسترجاع أو عرض المصدر أو مراجعة المحتوى، لكنه لا يغني عن فرض صلاحيات أداة مستقلة إن كانت مخرجات البحث تستخدم لتنفيذ أعمال.

تقييم تغير ترتيب البحث

قد يؤدي التغير في ترتيب المستندات إلى ظهور مصدر أقل موثوقية فوق مصدر رسمي، ما يؤثر في مضمون الرد أو قرار المستخدم. يحتاج التقييم إلى خط أساس لاسترجاع وثائق تجريبية، ومقياس يوضح أي المصادر ظهرت وتحت أي استعلام وإصدار فهرس، وهل كان المحتوى أعلى الترتيب قد اكتسب سلطة غير مستحقة. لا يكفي أن يضع الباحث مستنداً في corpus ليعلن نجاح تسميم؛ بل ينبغي إثبات أنه أُعيد للنموذج وساهم في مخرج أو إجراء محدد. وعند الشك في أثر نص، يمكن استخدام علامات بيانات اصطناعية ومقارنة الحالات ضمن بيئة مأذون بها بدل إجراء تجارب على ملفات عمل حقيقية.

العزل المتعدد للمستأجرين

تختلف مشكلة رصد وثيقة مستأجر آخر عن مشكلة ترتيب بحث مضلل داخل نطاق مستأجر واحد. إذا كان التطبيق متعدد المستأجرين يجب أن تتحقق خدمة الاسترجاع من دور الحساب وحدود المصدر قبل تقديم النص، لا أن تعتمد فقط على تعليمات النموذج بعد وصول المستند. تستخدم البيانات الاصطناعية ذات المعرفات الواضحة لاختبار هذا الحد، وتُفحص الروابط النهائية والتخزين المؤقت والنسخ المشتقة. وإذا ظهر نص يشبه معلومة عميل آخر يجب ربطه بسجل استرجاع حقيقي قبل وصفه بأنه كشف مؤكد. يختلف الإصلاح تبعاً لما إذا كان سبب المشكلة سياسة وصول أو فهرساً أو تلوثاً في الذاكرة.

حدود التقييم العدائي

قد يحصل المختبر على حالة تُظهر محتوى مضللاً لكنه لا يعرف ما إذا كان المستخدم اللاحق رآه أو ما إذا كانت أداة نفذت إجراء. يكتب النتيجة وفق ما لديه من دليل، ويستخدم INCONCLUSIVE حيث توجد فجوة حقيقية. يجب أيضاً الفصل بين بيانات تدريب نموذج خارجي ومحتوى استرجاع يتحكم فيه التطبيق؛ فالأولى قد لا يملك الفريق وصولاً إلى مصدرها أو صلاحية فحصها، بينما يستطيع اختبار الثانية بحسابات مؤسسة وتجارب موجهة. لا يجوز الادعاء بتسميم تدريب المورد اعتماداً على تعديل مستند داخل منصة RAG محلية.

مقارنة مستويات الأثر

تتدرج الآثار من عرض معلومة غير دقيقة إلى اعتماد مصدر غير موثوق أو كشف بيانات خارج الدور أو دفع وكيل إلى اختيار أداة محظورة. ليست هذه النتائج متماثلة في الخطورة أو العلاج. يسأل الفريق ماذا حدث فعلاً، وما الأصـل المتأثر، وهل بقي التأثير في جلسة لاحقة، وما الضوابط التي رفضت أو سمحت بفعل. قد تكشف التجربة ضعفاً في إسناد المصادر دون فشل في التفويض، أو قد تثبت أن نظام التنفيذ منع العملية رغم تأثر صياغة النموذج. ينبغي أن يعكس التقييم هذه الطبقات وأن يوجه كل إجراء إلى مالك الضابط الصحيح.

حالات انحدار بعد الإصلاح

عندما يضيف الفريق سياسة مراجعة محتوى أو مرشح صلاحيات أو تغييراً في تخزين الذاكرة، يعاد اختبار الحالة بمجموعات بيانات اصطناعية ومستخدمين معلومين. ينبغي قياس بقاء الوظيفة المشروعة، كاسترجاع سياسات القسم الذي يحق للموظف رؤيتها، إلى جانب منع مصدر غير مخول أو محتوى توجيهي من اكتساب سلطة. لا يكفي حذف المستند التجريبي من الفهرس وإعلان الحل، إذا كان المستخدم لا يزال يستطيع التأثير في مصدر آخر بالطريقة نفسها. تحتاج المعالجة إلى فهم الجذر المرتبط بإذن الكتابة أو إعداد الثقة أو ضابط الأداة الخلفية، مع حفظ نتائج الإصدارات السابقة.

تمرين تحليلي

صمم مستودعاً تجريبياً لثلاثة أقسام مع وثائق مصطنعة وذاكرة منفصلة لكل حساب. حدد أي الجهات يمكنها إضافة مستندات أو تعديلها، وأي الحسابات تستطيع استرجاعها، وما السجلات المتاحة. اختر حالتين دفاعيتين: تأثر إجابة بمعلومة غير موثوقة داخل مستند، ومحاولة رؤية علامة بيانات من مساحة أخرى. اكتب ما الذي يثبت أن المحتوى وصل إلى النموذج وما الذي يثبت أثره الفعلي، وكيف ستصنف النتيجة إذا لم يتوفر سجل مصدر. ثم اقترح معالجة مستقلة لطبقة وصول المستندات وأخرى لإدارة ذاكرة الوكيل، مع معيار اختبار لاحق.

ما يجب أن يتعلمه القارئ

ليس من المهني استخدام كلمة «تسميم» لكل نتيجة غريبة دون معرفة موضع إدخال المحتوى وطريقة استرجاعه وأثره. كما لا يصح أن تعني عبارة «النموذج استجاب» نجاح كشف بيانات أو تنفيذ أداة إذا لم يثبت ذلك. تساعد الممارسة الجيدة في حفظ سياق المصدر والهوية والنسخة والخط الأساس وسجلات الحدود، وفي اختيار ضوابط مناسبة لمعالجة الفهرسة والذاكرة والتفويض. هذا الفهم يحول اختبار الثغرات المباشرة من البحث عن عبارات مخادعة إلى تحليل سبب انتقال بيانات أو تعليمات خارج سياقها الصحيح.

الإسناد والحدود

المصدر الأساسي القسم 4.2 Direct AI Vulnerabilities في OWASP GenAI Red Teaming Manual v1.0، أكتوبر 2026، ولا سيما Data, Memory, and State Poisoning وVector and Embedding Vulnerabilities، الصفحات 59 وما بعدها. يفرق هذا الدرس بين محاور موثقة في المصدر وأمثلة مؤسسية دفاعية أعدتها سيادة AI، ولا يمثل ترجمة رسمية أو وصفاً لثغرة مؤكدة في نظام بعينه. يجب إجراء أي اختبار على بيانات وأنظمة مصرح بها، واحترام ترخيص CC BY-SA 4.0 للمصدر عند اشتقاق مادته.