معيار تحكيم اختبارات LLM
LLM Evaluation Rubric
قواعد واضحة يستخدمها المقيم للحكم على نتائج الاختبار بما يميز النجاح والفشل والحالات الملتبسة.
شرح تفصيلي
يحدد rubric ما يعتبر جوابًا صحيحًا أو استشهادًا مدعومًا أو رفضًا مشروعًا أو تحيزًا مؤثرًا، مع أمثلة للحالات الحدّية. يجب مراجعة اختلاف المقيمين وعدم افتراض أن استخدام نموذج لغوي للحكم يجعل التقييم موضوعيًا تلقائيًا. ويسجل تاريخ نسخة المعيار لضبط المقارنات.
مثال عملي
معيار يرفض استخراج شرط غير موجود في عقد حتى لو كانت بقية الفقرة سليمة.