الجزء 07 · بطاقة منهجية ١ من ٥
حوّل الجودة إلى سُلّم تقدير (Rubric)
سُلّم التقدير يصف الفرق بين إجابة غير مقبولة وأخرى صالحة، بدل الاكتفاء بحكم عام.
أبعاد أساسية
الدقة، والاكتمال، والملاءمة، والتنسيق، والأمان. وأضف البعد الذي يناسب مهمتك، مثل قابلية التنفيذ أو وجود مصدر يدعم الكلام.
وصف الدرجات
صِف معنى ٠ و١ و٢ في كل بُعد. مثلًا في الدقة: مختلق، أو جزئي، أو مطابق للمصدر. وحدّد ما يُعتبر فشلًا قاطعًا.
أكثر من مراجعة
اجمع بين مراجعة الإنسان والاختبارات الآلية حيث تنفع. ولا تجمع الدرجات إذا كان خطأ واحد خطير يكفي لرفض الناتج.
تطبيق سريع
اصنع Rubric من خمسة أبعاد، ثم قيّم ثلاث إجابات للمهمة نفسها قبل أن تعتمد الأمر.
✎ دوّن تطبيقك
الجزء 07 · بطاقة منهجية ٢ من ٥
مجموعة الاختبار تكشف الحالات الحدية
يجب أن تمثل حالات الاختبار مواقف الحياة الواقعية، لا الأمثلة المثالية فقط.
التغطية
ضع مدخلًا عاديًا، وآخر ناقصًا، وآخر متناقضًا، وآخر طويلًا، وآخر بلغة مختلفة، وطلبًا خارج النطاق.
حماية الخصوصية
استخدم بيانات مصطنعة أو مجهولة الهوية عند مشاركة حالات الاختبار.
الانحدار
بعد أي تعديل أعد تشغيل الحالات القديمة، حتى لا يصلح التغيير خطأً ويُرجع خطأً آخر كنت قد حللته.
تطبيق سريع
اختبر خمس حالات: عادية، وناقصة، وملتبسة، وحدّية، وخارج السياسة. واكتب النتيجة المتوقعة لكل حالة.
✎ دوّن تطبيقك
الجزء 07 · بطاقة منهجية ٣ من ٥
اختبار A/B يحتاج إلى مقارنة عادلة
قارن بين نسختين بالمدخلات نفسها، وبمقياس واحد أو مجموعة مقاييس معلنة.
عزل المتغير
غيّر شيئًا واحدًا فقط، مثل وجود مثال أو شكل المخرج. وثبّت النموذج والإعدادات والمدخلات.
لا تختر الفائز من مثال واحد
استخدم مجموعة تمثل الواقع، وكرر التشغيل إذا كان الناتج يتغير. وانظر إلى الأثر على الدقة والوقت والتكلفة.
وثّق القرار
اكتب متى اختبرت، وما الذي فاز، وعلى أي حالات، وما حدود استنتاجك. تفوّق نسخة في مهمة لا يثبت تفوقها في كل شيء.
تطبيق سريع
النسخة (أ) والنسخة (ب) على الحالات نفسها، وبسُلّم تقدير معلن، مع تسجيل الفروق.
✎ دوّن تطبيقك
الجزء 07 · بطاقة منهجية ٤ من ٥
النموذج حَكَمًا (LLM-as-judge): مفيد بشروط
يمكن أن يقيّم نموذج مخرجات نموذج آخر بسرعة، لكن حكمه يحتاج إلى معايرة وليس ثقة عمياء.
متى ينفع؟
عندما تكون الحالات كثيرة ولا تستطيع مراجعتها كلها بنفسك. أعطِ الحَكَم سُلّم تقدير مكتوبًا بأوصاف واضحة، واطلب منه التعليل قبل الدرجة.
ما عيوبه؟
قد يفضّل النص الأطول، أو الأسلوب الذي يشبه أسلوبه، أو الإجابة التي تأتي أولًا. وقد يخطئ في الحقائق التي لا يملك مصدرها.
كيف تعايره؟
قارن أحكامه بتقييم إنسان على عينة صغيرة. بدّل ترتيب المخرجين وانظر هل تتغير النتيجة. وأبقِ المراجعة البشرية للحالات الحساسة.
تطبيق سريع
قيّم ١٠ إجابات بنفسك، ثم اطلب من نموذج تقييمها بالسُّلّم نفسه، وقارن أين اختلفتما ولماذا.
✎ دوّن تطبيقك
الجزء 07 · بطاقة منهجية ٥ من ٥
التحسين الآلي مساعد، وليس حكمًا نهائيًا
قد تقترح أدوات تحسين الأوامر صيغًا مختلفة، لكن نتائجها تعتمد على الأمثلة والمعيار الذي تحدده أنت.
ما الذي تحتاجه الأداة؟
صياغة واضحة للمهمة، وأمثلة فشل حقيقية، ومقياسًا يمكن قياسه. وبدون ذلك قد تحسّن الأسلوب فقط لا النتيجة.
التحقق
جرّب الصيغة المقترحة على حالات مستقلة لم تُستخدم في تحسينها، وراجع تكلفتها ووضوحها وسلامتها.
احذر التخصيص الزائد
قد تتعلم الأداة مجموعة صغيرة من الأمثلة وتتخصص فيها. احتفظ بحالات تُستخدم للاختبار فقط (holdout)، وحدّثها من وقت لآخر.
تطبيق سريع
اطلب ثلاثة تغييرات محتملة، مع الفشل الذي يعالجه كل تغيير والاختبار الذي يثبت فائدته.
✎ دوّن تطبيقك
