تقييم الإجابة النهائية وحده لا يثبت صحة الاسترجاع أو سلامة القرار.
اختبار الهلوسة وعدم الدقة في تطبيقات LLM: منهج هندسي للأدلة وحدود الفشل
تعريف الخطر بدقة
الهلوسة في تطبيقات النماذج اللغوية ليست كل إجابة غير مرغوبة، ولا كل نتيجة تختلف مع توقع المستخدم. الخلل الذي ينبغي اختباره قد يتمثل في ادعاء واقعي غير صحيح، أو استشهاد لا يسند الادعاء، أو نسبة قول إلى مصدر لم يقله، أو تقديم معلومة قديمة كما لو كانت نافذة، أو ملء فراغ معرفي بتفصيل مختلق. وفي التطبيقات المعتمدة على استرجاع المعرفة، قد ينتج النموذج جوابًا صحيحًا غير مستند إلى المستندات المخوّلة، وهي حالة لا ينبغي خلطها مع نجاح عملية الاسترجاع. الهدف من اختبار الدقة ليس مجرد البحث عن جمل خاطئة، بل تحديد نوع الادعاء وطريقة إسناده وحدود قبول الخطأ في سياق قراره.
تضع إرشادات IMDA اختبار الهلوسة وعدم الدقة بين محاور السلامة والاعتمادية لتطبيقات LLM. لكن طريقة بناء عينة عربية متخصصة، وتعريف درجات الأثر، وتحديد عتبات الإطلاق التي نعرضها هنا تصميم تشغيلي من سيادة مبني على ممارسات التقييم، وليست عتبات رسمية صادرة من الجهة السنغافورية.
حدود النظام وعلاقة الدقة بالسلطة
ابدأ بتوثيق غاية التطبيق والقرارات التي يمكن أن تتأثر بإجابته. في مساعد يبحث في تعاميم هيئة رقابية، خطأ رقم مادة أو تاريخ النفاذ أكثر خطورة من سوء اختيار مرادف لغوي. وفي مساعد يختصر بريدًا داخليًا، إسقاط كلمة النفي من توصية لجنة قد يغير المعنى رغم سلامة بقية الملخص. وفي أداة تساعد على كتابة كود، اقتراح مكتبة غير موجودة قد يعطل العملية أو يفتح مسارًا لسلسلة توريد غير آمنة. لذلك لا يمكن تقييم هذه المنتجات بمقياس factual accuracy واحد دون تمييز أهمية الادعاءات.
سجّل أين تقع المعرفة المرجعية: داخل النموذج، في مستندات RAG، في API محدثة، أم في تعليمات بشرية. إذا كانت الحقيقة متغيرة، ينبغي أن يملك التطبيق سياسة حداثة واضحة. السؤال «ما شروط التسجيل الحالية؟» قد لا تقبل إجابته إذا كانت الإجابة صحيحة تاريخيًا لكنها لم تعد نافذة. ويجب التمييز بين factual correctness وبين authorization correctness؛ قد يعرف النظام المعلومة لكنه غير مخول بكشفها للمستخدم.
تصنيف أنماط الفشل
اعتمد تصنيفًا متعدد الأبعاد يمنع اختزال الأخطاء في وسم واحد. النوع الأول اختلاق معلومة غير موجودة في العالم أو السجل المرجعي. الثاني تحريف معلومة موجودة من خلال رقم أو اسم أو تاريخ غير دقيق. الثالث قفزة غير مسندة من معلومة صحيحة إلى نتيجة أقوى مما تسمح به. الرابع استشهاد ملفق أو غير ذي صلة. الخامس جواب صحيح مع سلسلة إثبات خاطئة. السادس عدم تمييز النقص في البيانات أو الغموض ورفض طلب توضيح لازم. السابع نتيجة تتجاوز حدود المهمة: استنتاج قانوني حاسم من نص استرشادي أو توصية طبية من سؤال معلوماتي بسيط. والثامن استمرار في الدفاع عن خطأ بعد تقديم تصحيح موثوق.
يجب أن يسمح سجل الاختبار بإسناد أكثر من نمط للفشل نفسه. فقد يقتبس المساعد تاريخ نفاذ قديمًا من مستند متقادم، ثم يضيف مادة غير موجودة. وجود فئتين يتيح اختيار علاجين: إدارة صلاحية الوثائق وتحسين grounding، بدل الاكتفاء بتعديل prompt.
بناء Dataset مرجعية مستقلة
اختبر على حالات مشتقة من الاستخدام الحقيقي، بعد إزالة أي بيانات شخصية أو أسرار، وحالات يضعها خبراء المجال لتغطية الأخطاء النادرة. ولا تكتف بأسئلة مدرسية عامة؛ يجب إنشاء اختبارات حساسة للسياق تضطر النظام للتمييز بين الإصدارات والنطاقات. مثال: لائحة نسختان، واحدة مطبقة على فرع وأخرى على فرع مختلف. السؤال يذكر فرعًا وتاريخًا، والجواب الصحيح يتطلب اختيار الوثيقة السارية، لا أفضل تطابق نصي. مثال آخر: مذكرة مجلس إدارة تقول إن المشروع «لم يُوافق عليه» ثم تسرد ملاحظات إيجابية؛ التلخيص يجب ألا يحذف النفي الحاسم.
لكل حالة أعط معرّفًا فريدًا، نص الإدخال، وصف السياق، نسخة المصدر المعتمد، الإجابة المرجعية أو معاييرها، قائمة الادعاءات المطلوب التحقق منها، مستوى الخطورة، اللغة، وتوقع الرفض أو طلب التوضيح عندما لا يمكن المعرفة. ينبغي ألا يتعرض فريق ضبط النظام لمجموعة التقييم المحجوبة على نحو يسمح بحفظ الأجوبة. وانفصل عن بيانات الإنتاج بالقدر الذي يمنع إدخال سجلات واقعية حساسة إلى أدوات اختبار خارجية دون تفويض.
تعريف وحدة القياس: الادعاء أم الإجابة؟
الإجابة المركبة قد تحتوي عشرة ادعاءات، تسعة منها صحيحة وواحد خاطئ يغير القرار. احتسابها صحيحة لأن ملخصها «قريب من المرجع» خطأ منهجي. اقسم المخرجات إلى atomic claims قابلة للتحقق، مع الحفاظ على الروابط المنطقية بينها. يمكن للقياس أن يسجل claim correctness، citation support، answer completeness، uncertainty calibration، وdecision-critical error rate. وهذه ليست أرقامًا متكافئة؛ فقد تكون الإجابة دقيقة لكنها ناقصة وتخفي استثناء مطلوبًا. وقد تكون شاملة لكنها تتضمن مصدرًا مزورًا.
عرّف المقام قبل حساب النسبة: جميع الادعاءات؟ الادعاءات التي يمكن التحقق منها؟ جميع الحالات؟ الحالات ذات المخاطر الحرجة فقط؟ لا يجوز خلط المقامات دون توضيح. وإذا كان المصدر نفسه متناقضًا، سجّل conflict in ground truth بدل إرغام المقيّم على اختيار إجابة واحدة بالحدس.
اختبار الاستشهاد والاسترجاع
في تطبيق RAG، افصل أربعة أسئلة: هل جلب النظام الوثائق المناسبة؟ هل جلب النسخة المصرح بها والسارية؟ هل استخدم النموذج النص الصحيح دون تحريف؟ وهل أشار إلى المقطع الذي يدعم كل ادعاء؟ يمكن أن تكون دقة الاسترجاع مرتفعة ولكن الجواب يحتوي استنتاجًا غير مسند. ويمكن أن تكون النتيجة النهائية صحيحة رغم فشل الاسترجاع إذا استعاض النموذج بمعلومات محفوظة. لهذا نحتاج component-level evaluation بجانب output-level evaluation.
اختبر Retrieval Recall وPrecision وفق تعريف المجموعة المرجعية، ثم ربط الادعاءات بالمقتطفات. راقب الوثائق التي لم تسترجع رغم أهميتها، والوثائق المتشابهة التي تحمل عنوانًا واحدًا وإصدارات مختلفة، ونقاط عبور الصلاحيات بين وحدات المؤسسة. يجب ألا يسمح تحسين accuracy باسترجاع ملفات لا يملك المستخدم حق الوصول إليها.
اختبار الامتناع المنضبط
السلوك الصحيح أحيانًا هو «لا توجد أدلة كافية» أو «هذا يعتمد على التاريخ والولاية القانونية». صمم حالات لا تملك جوابًا محددًا، وأخرى تحتوي مصادر متناقضة، وأخرى تتطلب سؤالًا استيضاحيًا قبل إعطاء قرار. المقياس الذي يكافئ كل إجابة مطولة سيشجع النموذج على الاختلاق. لكن لا يجوز أيضًا مكافأة الرفض المفرط: النظام الذي يرفض كل شيء لا يحقق الغرض التجاري من التطبيق. نحتاج مقياسين منفصلين: الامتناع الصحيح عندما يفتقر إلى الأساس، والجواب المشروع عندما يكون الدليل كافيًا.
يجب تحديد ما إذا كانت عبارات التحفظ مجرد زخرفة أم تمثل عدم يقين حقيقيًا. قول «ربما» قبل رقم مختلق لا يجعله صادقًا. المطلوب تمكين المستخدم من رؤية ما هو موثق وما يحتاج تحققًا وأين المصدر.
أثر اللغة والترجمة
إذا كان التطبيق عربيًا، يجب اختبار العربية لا اعتبار نتائج الإنجليزية بديلًا لها. تشمل الحالات الأرقام العربية والإنجليزية، اتجاه الكتابة، الأسماء المركبة، مصطلحات القانون والإدارة، الاختصارات الإنجليزية داخل الجمل، وتعدد ترجمات المفهوم الواحد. قد يختلط مفهوم approval بالاعتماد الأكاديمي أو بالموافقة الإدارية عند استخدام لفظ واحد، وقد يختلف معنى shall عن should في سياق التزامات معيارية. لذلك يجب أن يراجع خبراء ثنائيو اللغة حالات يكون تغيير حرف الجر أو فعل الإلزام مؤثرًا.
اختبر أيضًا تلخيص وثيقة عربية تحتوي جدولا، وهوامش، وملحقًا، وتصحيحًا لاحقًا. بعض الإخفاقات تأتي من استخراج PDF لا من قدرة النموذج اللغوية؛ لذلك توثّق سلسلة OCR أو parsing عندما تستخدم، من دون افتراض أن المعنى صحيح لمجرد ظهور النص في السياق.
اختبارات التغير والتدهور
تتغير جودة الإجابة بعد تحديث نموذج أو فهرس أو prompt حتى لو لم تتغير الواجهة. أنشئ مجموعة Regression ثابتة للمسارات الحرجة، ومجموعة دورية تتجدد مع المستندات الحقيقية، ومجموعة هجومية لتوليد أخطاء غير متوقعة. عند ملاحظة تدهور، قارن إصدار المكونات والبيانات ووقت الاستدعاء ونوع السؤال. لا يصح تحميل النموذج كل المسؤولية إذا استرجع النظام الوثيقة غير الصحيحة. وبالمقابل لا ينبغي اتهام الاسترجاع عندما تجاهل النموذج النص الصحيح في السياق.
يجب ربط مشغل إعادة الاختبار بحدث ملموس: تغيير موفر النموذج، تحديث كبير في المستندات، تعديل قواعد الصلاحيات، ظهور نوع جديد من الأسئلة، أو حادث له أثر. وعندما يتعلق التطبيق بقرارات حساسة، تراجع أهلية التشغيل بعد كل تغير جوهري لا عند موعد سنوي شكلي فقط.
معالجة التباين الإحصائي
لا توحي مئة إجابة صحيحة بأن النظام مضمون. نحتاج إعلان حجم العينة وتكوينها، وعدد المحاولات لكل سؤال، وقابلية تكرار النتائج، وطريقة احتساب فترات عدم اليقين. لا تعامل عدة عينات مولدة من الطلب نفسه كأنها حالات مستقلة تمامًا. النتائج تعتمد أحيانًا على temperature وإعدادات التوليد، لذلك تسجل إلى جانب نسخة النموذج. وإذا اختلف تقييم البشر، وثق التوافق والاختلاف وأسباب التحكيم، خاصة في الحالات التي تتطلب تفسير النصوص المهنية أو القانونية.
التقييم الآلي بنموذج آخر قد يفيد في الفرز، لكنه ليس دليلًا مستقلًا بلا تحقق. يمكن للمقيّم الآلي أن يشارك نفس أنماط الخطأ أو يتحيز للطلاقة والتفصيل. عيّن عينات لمراجعة بشرية متخصصة، وراجع باستمرار false positives وfalse negatives الخاصة بالمقيّم نفسه.
تصميم عتبات القبول
لا تقدم هذه المقالة حدًا عالميًا رقميًا للهلوسة. العتبة تختارها المؤسسة بناء على حجم الخطأ وأثره واحتمال اكتشافه وإجراءات الاحتواء، وتثبت قبل رؤية النتائج النهائية. مثال تصميمي: يوقف الإطلاق خطأ مؤكد ينسب موافقة تنظيمية غير موجودة في حالة حرجة، بينما تعالج أخطاء تحريرية صغيرة ضمن خطة تحسين بلا أثر على القرار. ويجب أن تكون الحدود متعددة المستويات لا متوسطًا واحدًا: شروط critical failure مستقلة، وحدود accuracy للمجموعة الطبيعية، وحدود citation support، وحدود correct abstention، وتغطية لغوية موثقة.
كل حد يحتاج مالك قرار ومبررًا ومصدر أدلة. عند فشل حد حرج لا يصح استبداله بنتيجة أداء مرتفعة في أسئلة سهلة. كما يجب منع الفريق من إعادة تعريف النجاح بعد ظهور النتائج لرفع المعدل بصورة مصطنعة.
تحليل فشل قابل للإصلاح
كل حادث اختبار مهم يبدأ بسجل الحالة الأصلي، المخرج الخام، مراجع الوثائق، traces للمكونات المتاحة، نسخ الضبط، والتوقع المعتمد. صنف السبب المحتمل: غموض السؤال، بيانات مرجعية خاطئة، استرجاع غير كاف، تقطيع سياق، تعليمات متعارضة، صياغة غير دقيقة، معايرة امتناع ضعيفة، أو خطأ مقيّم. لا تعتبر تسمية السبب إثباتًا؛ يجب اختبار فرضية العلاج بإعادة تشغيل الحالة ومجموعة regression مستقلة.
إذا أصلحت خطأ بإضافة مثال إلى prompt، افحص ما إذا كان العلاج خفض الأداء في فئات أخرى. وقد يكون الحل الصحيح تحديث مستودع السياسات أو إغلاق مصدر قديم بدل تغيير النموذج. واحتفظ بسجل قبل/بعد مع وصف واضح للتغيير.
قرار إطلاق قابل للتدقيق
ملف Go/No-Go ليس عرض شرائح ملونًا. يسجل نطاق النسخة، النتائج، عدد الحالات وفئاتها، الأخطاء الحرجة، جودة الاستشهاد، جوانب عدم اليقين، الإجراءات التصحيحية، الاستثناءات، مسؤولية المراجعة، وسلطة القرار. إذا سمح الإطلاق بشروط، يجب تحديد الوظائف المعطلة وخطة مراجعة الإجابات وحدود الوصول وتاريخ انتهاء الاستثناء. أما غياب العينة المناسبة للقطاع أو اللغة فيسمى Insufficient Evidence، لا Pass مؤقتًا بعبارات مبهمة.
عندما يُستخدم التطبيق في مؤسسة ذات فروع، ينبغي حفظ اختلاف متطلبات القطاعات والولايات وعدم إسقاط اجتياز اختبار واحد على جميع الفروع. كما أن الأطر الإرشادية لا تعفي المؤسسة من أي متطلبات تنظيمية نافذة عليها.
سيناريو متخصص: مساعد عقود عامة
لنفترض مساعدًا يقرأ شروط منافسات وملحقات تصحيحية ويقترح ما إذا كان عرض المورد مستوفيًا. يصنف الفريق حالات الأخطاء: عدم قراءة ملحق محدث، الخلط بين شرط إلزامي وتوصية، تقديم استثناء غير موجود، الاستشهاد ببند من عطاء مختلف، أو إسقاط ملاحظة تؤدي للاستبعاد. لكل فئة حالات مكتوبة من خبراء مشتريات، وتحدد المراجعة الشرط الصحيح ودليل المستند. ويجب مراقبة ما إذا كان المساعد يستشهد بوثيقة سارية لجهة مختلفة أو يصل إلى بيانات عطاء غير مصرح بها.
إذا كان القرار النهائي بشريًا، فوجود مراجعة لا يزيل المخاطر تلقائيًا. نسأل هل يستطيع المراجع الوصول إلى المصدر المستشهد، وهل يتلقى وقتًا مناسبًا، وهل تعرض الواجهة عدم اليقين بدل إخفائه؟ وقد تكون أخطر حالة إجابة تبدو دقيقة وثابتة وتؤدي إلى قبول عرض غير مستوف، لا إجابة يعلن فيها المساعد عجزه.
قائمة مراجعة تطبيقية
لا يبدأ الاختبار قبل توفر وصف استخدام مفصل وإصدار مكونات مثبت ومراجع حكم مستقلة وفئات خطر وأدوار تقييم. لا يعتمد النجاح قبل مراجعة بيانات المصدر وتغطية الحالات الحرجة والتحقق من دقة الاستشهاد وسلوك الامتناع وأثر اللغة والتغير التشغيلي. لا ينتهي العمل بنشر تقرير؛ تنتقل الحالات الفاشلة إلى سجل علاج وتختبر من جديد وتربط بقرار النشر والرقابة اللاحقة.
النتيجة المطلوبة من هذا الدليل ليست القول إن تطبيق LLM أصبح خاليًا من الهلوسة؛ فهذا ادعاء لا يدعمه اختبار محدود. النتيجة الصحيحة هي وصف حدود الدليل: ما اختبرناه، وما ظهر، وما لم نختبره، ومن يملك قبول الخطر، ومتى يتعين أن نعيد الاختبار.
علاقة الدليل بالمصدر
المصدر المرجعي هنا هو دليل IMDA الرسمي لاختبار السلامة والاعتمادية لتطبيقات LLM، ويستخدم هذا الأصل تركيزه على hallucination/inaccuracy ومنطق الاختبار المرتبط بالسياق. التقسيمات التشغيلية وسجل القرار وأمثلة المشتريات وصياغات العتبات إضافات تحريرية تحليلية من سيادة؛ لا تنسب إلى IMDA باعتبارها متطلبات رسمية أو نتائج تجارب أجرتها الجهة.