حوكمة الذكاء الاصطناعي الوكيلي في مصر: الصلاحيات والإشراف والمساءلة عند انتقال AI من الإجابة إلى التنفيذ

ما هو Agentic AI؟

Agentic AI هو نمط من الأنظمة يستطيع العمل بدرجة من الاستقلال لتحقيق هدف.

بدلاً من مجرد الإجابة عن سؤال، قد يستطيع النظام:

• التخطيط.
• اختيار خطوات.
• استخدام أدوات.
• استدعاء APIs.
• قراءة قواعد بيانات.
• إرسال رسائل.
• تعديل سجلات.
• تنفيذ معاملات.
• التعاون مع وكلاء آخرين.

هذه القدرات تغير طبيعة المخاطر.

الفرق بين Chatbot وAgent

Chatbot تقليدي غالباً:

Input → Response.

أما Agent فقد يعمل:

Goal → Plan → Tool Call → Observation → Decision → Action → Replan.

كل خطوة يمكن أن تنتج خطأ أو تجاوزاً.

Agent Authority

يجب تحديد نطاق سلطة الوكيل.

[ممارسة تنفيذية]

يمكن تقسيم السلطة مثلاً إلى:

Read Only

يقرأ البيانات دون تعديل.

Recommend

يقدم توصية للإنسان.

Draft

يعد إجراءً لكن لا ينفذه.

Execute With Approval

ينفذ بعد موافقة بشرية.

Autonomous Within Limits

يتصرف ضمن حدود محددة مسبقاً.

لا ينبغي منح الاستقلال الكامل افتراضياً.

Agent Identity

الوكيل الذي يستخدم أنظمة المؤسسة يجب أن يمتلك هوية قابلة للتتبع.

استخدام حساب موظف مشترك مع Agent يجعل من الصعب معرفة:

• من نفذ الفعل؟
• هل كان إنساناً أم نظاماً؟
• ما الصلاحية المستخدمة؟
• كيف يمكن سحب الوصول؟

[ممارسة تنفيذية]

الأفضل استخدام Non-Human Identity منفصلة عندما تسمح البنية التقنية.

Least Privilege

يجب ألا يحصل Agent على كل الصلاحيات التي قد يحتاجها في المستقبل.

يجب تطبيق:

Least Privilege.

إذا كانت المهمة قراءة قائمة المنتجات فلا يحتاج الوكيل إلى صلاحية حذف العملاء.

Tool Governance

كل أداة يملكها Agent توسع Attack Surface.

قد تكون الأدوات:

• email.
• CRM.
• ERP.
• payment system.
• browser.
• code execution.
• databases.
• cloud consoles.

يجب تقييم مخاطر كل Tool Connection.

Credential Management

أحد أخطر الأخطاء هو تخزين:

• passwords.
• API keys.
• tokens.

داخل prompt أو memory غير محمية.

يجب إدارة الاعتمادات خارج النموذج قدر الإمكان وباستخدام أنظمة secrets مناسبة.

Human-in-the-Loop

يعني أن الإنسان يوافق على خطوات محددة قبل التنفيذ.

مناسب مثلاً لـ:

• payment.
• deletion.
• external communication.
• contractual action.
• sensitive data disclosure.

Human-on-the-Loop

في بعض الأنظمة يمكن للوكيل العمل ضمن حدود، بينما يراقبه إنسان ويستطيع التدخل.

هذا يتطلب:

• alerts.
• visibility.
• pause capability.
• logs.
• escalation.

Approval Gates

[ممارسة تنفيذية]

يجب تحديد actions التي لا يجوز للوكيل تنفيذها مباشرة.

مثل:

• تحويل مالي.
• حذف نهائي.
• تغيير صلاحيات.
• إرسال عقد.
• نشر محتوى رسمي.
• إجراء قانوني حساس.

Transaction Limits

يمكن تحديد حدود مثل:

• maximum amount.
• maximum records.
• maximum actions per hour.
• geographic limits.
• approved counterparties.

هذه الضوابط تقلل blast radius.

Logging and Traceability

سجل الوكيل يجب أن يساعد على إعادة بناء ما حدث.

من المهم تسجيل:

• instruction.
• tool called.
• action.
• timestamp.
• identity.
• approval.
• result.
• error.
• escalation.

لماذا Prompt Logs وحدها غير كافية؟

لأن بعض القرارات قد تحدث داخل سلسلة أدوات أو memory أو orchestration.

التتبع يجب أن يغطي Workflow وليس المحادثة فقط.

Stop / Kill Controls

يجب أن توجد طريقة لإيقاف Agent سريعاً.

[ممارسة تنفيذية]

قد تكون:

• revoke token.
• disable identity.
• stop workflow.
• isolate environment.
• block outbound actions.

Irreversible Actions

الأفعال غير القابلة للتراجع تحتاج مستوى أعلى من التحكم.

إرسال مسودة يمكن تعديله.

لكن:

• deleting records.
• transferring money.
• publishing externally.

قد يكون أثرها فورياً.

Multi-Agent Risk

عند استخدام عدة وكلاء قد تظهر مخاطر جديدة:

• cascading failures.
• conflicting goals.
• circular actions.
• privilege escalation through another agent.
• unexpected cooperation.
• deadlocks.

لذلك لا يكفي تقييم كل Agent منفرداً.

Third-Party Agents

إذا كان Agent مقدمًا من طرف خارجي، يجب فهم:

• data access.
• memory.
• tools.
• sub-processors.
• model provider.
• update policy.
• logs.
• incident notification.

Prompt Injection يصبح أخطر

في chatbot قد يؤدي Prompt Injection إلى إجابة خاطئة.

في Agent قد يؤدي إلى:

• tool execution.
• data extraction.
• unauthorized action.

لهذا يجب التعامل مع external content باعتباره potentially hostile input.

Memory Governance

الذاكرة قد تخزن:

• بيانات شخصية.
• أسرار.
• تعليمات.
• نتائج سابقة.

يجب تحديد:

• ماذا يُحفظ؟
• إلى متى؟
• من يصل إليه؟
• كيف يتم الحذف؟
• هل الذاكرة مشتركة؟

Accountability

حتى إذا كان Agent مستقلاً تقنياً، يجب ألا يصبح مستقلاً مؤسسياً عن المسؤولية.

يجب أن يكون هناك:

• business owner.
• technical owner.
• risk owner.
• escalation path.

العلاقة بإرشادات GenAI المصرية

الإرشادات المصرية للذكاء الاصطناعي التوليدي تعترف بتطور النماذج نحو Agentic AI، ما يجعل الموضوع جزءاً من البيئة الوطنية الحالية وليس سيناريو مستقبلياً بعيداً.

لكن كثيراً من الضوابط التفصيلية في هذا المقال تمثل:

[ممارسة تنفيذية]

مستخلصة من مبادئ الحوكمة والأمن وإدارة الصلاحيات، وليست نصوصاً حرفية من وثيقة مصرية واحدة.

Risk Classification

Agentic AI لا يشكل فئة مخاطر واحدة.

وكيل يساعد في ترتيب الاجتماعات يختلف عن وكيل:

• يتداول مالياً.
• يدير بنية تحتية.
• يقرر أهلية شخص.
• يغير صلاحيات.
• يتفاعل مع نظام حرج.

التصنيف يعتمد على الاستخدام.

قبل تشغيل Agent

[ممارسة تنفيذية]

اسأل:

1. ما الهدف؟
2. ما الأدوات؟
3. ما البيانات؟
4. ما الصلاحيات؟
5. ما الأفعال غير القابلة للتراجع؟
6. متى يحتاج موافقة؟
7. كيف نسجله؟
8. كيف نوقفه؟
9. من المسؤول؟
10. ماذا يحدث عند فشل المورد؟

بعد التشغيل

راقب:

• unauthorized actions.
• unusual tool use.
• repeated failures.
• escalation frequency.
• security events.
• unexpected data access.
• policy violations.

الخلاصة

Agentic AI يحول AI Governance من إدارة نموذج إلى إدارة Actor رقمي لديه قدرة على التنفيذ.

وهذا يتطلب دمج:

AI governance + identity + access management + cybersecurity + vendor governance + human oversight + auditability.

فصل التخطيط عن التنفيذ

أحد أهم مبادئ تصميم Agentic AI الآمن هو عدم افتراض أن الجهة التي تقترح الإجراء يجب أن تكون نفسها القادرة تلقائياً على تنفيذه.

[ممارسة تنفيذية]

يمكن تصميم Workflow مثل:

Agent A: يحلل ويقترح الإجراء.

Policy Layer: يتحقق من القواعد.

Human / Approval Service: يوافق إذا كان الفعل حساساً.

Execution Service: ينفذ باستخدام صلاحية منفصلة.

هذا الفصل يقلل احتمال أن تتحول هلوسة أو Prompt Injection مباشرة إلى إجراء فعلي.

Policy Enforcement خارج النموذج

الاعتماد على أن “النموذج يعرف أنه لا يجب أن يفعل ذلك” ليس ضابطاً كافياً.

LLM قد:

• يسيء فهم التعليمات.
• يتعرض لـPrompt Injection.
• يغير سلوكه بعد تحديث.
• يتعامل مع سياق لم يكن متوقعاً.

لذلك الضوابط الحساسة يجب أن تنفذ خارج النموذج عندما يكون ذلك ممكناً.

مثل:

• maximum transfer amount.
• allowed domains.
• blocked commands.
• approved recipients.
• restricted databases.

هذه القيود يجب أن تكون Enforced Controls، لا نصائح داخل Prompt فقط.

Delegation Chains

Agent قد يفوض العمل إلى Agent آخر أو Tool آخر.

هنا تظهر أسئلة:

• هل الوكيل الثاني يرث كل الصلاحيات؟
• هل يعرف النظام من طلب الفعل الأصلي؟
• هل يمكن لوكيل منخفض الصلاحية أن يحصل عملياً على صلاحية أعلى عبر Agent آخر؟

[ممارسة تنفيذية]

يجب الحفاظ على Context of Authority خلال سلسلة التفويض.

Confused Deputy Risk

قد يمتلك Agent صلاحية مشروعة لكنه يستخدمها نيابة عن طرف لا يملك تلك الصلاحية.

مثلاً:

مستخدم منخفض الصلاحية يقنع Agent عالي الصلاحية بتنفيذ إجراء لا يستطيع المستخدم تنفيذه مباشرة.

هذه مشكلة أمنية كلاسيكية تصبح أكثر تعقيداً مع AI Agents.

الحل يتطلب التحقق من:

• requester identity.
• delegated authority.
• intended action.
• target resource.

إدارة الاستثناءات

قد تظهر حالات يريد فيها الفريق تجاوز ضابط بسبب حاجة تشغيلية.

يجب ألا يكون الحل:

“عطلوا الحماية مؤقتاً.”

الأفضل وجود Exception Process موثق يحدد:

• من طلب الاستثناء؟
• لماذا؟
• المدة.
• النطاق.
• الضوابط البديلة.
• من وافق؟
• متى ينتهي؟

اختبار سيناريوهات الفشل

Agent قد يفشل بطرق تختلف عن تطبيق تقليدي.

أمثلة:

• tool unavailable.
• API returns malformed data.
• partial transaction.
• memory corrupted.
• repeated retry loop.
• conflicting instructions.
• stale information.
• unexpected permission denial.

[ممارسة تنفيذية]

يجب اختبار Recovery Behavior وليس فقط Happy Path.

التحكم في السرعة والحجم

حتى الإجراء الصحيح يمكن أن يصبح خطراً إذا تم تنفيذه بسرعة أو حجم غير متوقع.

Agent يمكن أن يكرر الخطأ آلاف المرات قبل تدخل الإنسان.

لذلك Rate Limits وVolume Limits مهمة.

أمثلة:

• عدد الرسائل.
• عدد السجلات المعدلة.
• قيمة المعاملات.
• عدد API calls.
• عدد الحسابات التي يمكن تغييرها.

Sandbox قبل Production

البيئة التجريبية مفيدة لتقييم:

• tool behavior.
• unexpected actions.
• prompt injection.
• failure recovery.
• permission boundaries.

لكن نجاح Agent في Sandbox لا يثبت أنه آمن في Production؛ لأن البيانات والمستخدمين والتكاملات تكون مختلفة.

مراقبة الانحراف السلوكي

Model Monitoring في Agentic AI يجب ألا يقتصر على جودة الإجابات.

يجب مراقبة:

• tool selection.
• action frequency.
• escalation patterns.
• unusual destinations.
• repeated retries.
• access anomalies.
• abnormal transaction patterns.

هذا أقرب إلى Behavioral Monitoring.

الفصل بين ذاكرة العمل والذاكرة طويلة الأجل

Agents قد يستخدمون:

Short-Term Memory

للسياق الحالي.

و:

Long-Term Memory

لتخزين معلومات تستمر عبر الجلسات.

الذاكرة طويلة الأجل تحتاج إلى ضوابط أقوى بسبب احتمال:

• تراكم بيانات شخصية.
• تخزين أسرار.
• poisoning.
• outdated facts.
• cross-user leakage.

مراجعة قرارات Agent بعد الحدث

في بعض السيناريوهات لا يمكن وضع إنسان قبل كل خطوة.

هنا يصبح Ex-Post Review مهماً.

يمكن مراجعة:

• samples.
• high-impact actions.
• exceptions.
• unusual behavior.
• customer complaints.
• security alerts.

لكن الرقابة اللاحقة ليست بديلاً عن Approval Gate عندما يكون الفعل لا يحتمل الرجوع.

المسؤولية عند تعدد الأطراف

قد يتكون Agent من:

• foundation model provider.
• orchestration platform.
• enterprise developer.
• tool provider.
• cloud provider.
• business owner.

عند وقوع حادث لا يجوز أن تضيع المسؤولية بين الموردين.

[ممارسة تنفيذية]

يجب أن تحدد المؤسسة مسبقاً:

• system owner.
• incident owner.
• vendor escalation owner.
• legal/privacy contact.
• shutdown authority.

Agentic AI ومبدأ Zero Trust

يمكن تطبيق منطق قريب من Zero Trust:

لا تفترض أن Agent موثوق دائماً لمجرد أنه داخلي.

تحقق باستمرار من:

• identity.
• authorization.
• context.
• requested action.
• destination.
• sensitivity.

كل Action حساس يجب أن يثبت أنه مسموح في سياقه الحالي.

معيار النجاح ليس مقدار الاستقلالية

من الأخطاء اعتبار Agent الأكثر استقلالاً أكثر تطوراً.

الهدف ليس Maximum Autonomy.

الهدف هو:

Appropriate Autonomy

أي الدرجة التي تحقق الفائدة مع مستوى مخاطر يمكن للمؤسسة فهمه وضبطه ومراقبته.

في بعض الحالات أفضل تصميم هو Agent يقدم توصية فقط.

وفي حالات أخرى يمكن السماح بالتنفيذ ضمن حدود.

النضج الحقيقي هو اختيار الدرجة المناسبة، لا إزالة الإنسان من العملية بأي ثمن.