التحليل النوعي لفشل اختبارات LLM
LLM Failure Analysis
مراجعة أسباب وسياقات حالات فشل اختبار تطبيق النموذج بدل الاكتفاء بعدّ الإخفاقات.
شرح تفصيلي
يفرق بين فشل الاسترجاع واختيار المصدر وتوليد النص والحق في الوصول والتحكيم وأثر الواجهة. يحتاج سجلًا للحالة الخام ونسخ المكونات والنتيجة المتوقعة والمسبب المحتمل والعلاج وإعادة الاختبار. لا يكفي تفسير آلي غير مُراجع لاعتبار السبب مثبتًا.
مثال عملي
ظهور استشهاد خاطئ بسبب ملف ملغى في الفهرس لا بسبب عدم فهم النموذج نص السياسة.