رقم يُساء فهمه
تقرأ في ملخص دراسة «p = 0.03» فتشعر أن شيئًا مهمًا ثبت. هذا الرقم يُساء فهمه كثيرًا. فكرته أن تفترض أنه لا يوجد أثر حقيقي، ثم تسأل: ما مدى غرابة النتيجة التي حصلت عليها؟ وكلما صغرت القيمة بدت النتيجة أغرب بهذا الافتراض. ولتوضيحها أصدرت الجمعية الإحصائية الأمريكية بيانًا من ستة مبادئ [1].
عملة مشكوك فيها
قال لك زميلك إن العملة التي في يده سليمة، ثم رماها عشر مرات فخرجت صورة في كل مرة. لو كانت سليمة فعلًا لكانت هذه النتيجة غريبة جدًا، وهذا ما تعبّر عنه p الصغيرة: البيانات تتنافر مع افتراض «العملة سليمة».
لكن لاحظ ما لم يقله الرقم. لم يقل لك كم احتمال أن العملة سليمة. فلو جاءتك العملة من البنك لفضّلت أن تظنها صدفة نادرة، ولو جاءتك من ساحر في سوق لحسمت أنها مغشوشة. هذا الفرق بين «النتيجة غريبة لو كان الافتراض صحيحًا» و«الافتراض خطأ على الأرجح» هو لبّ سوء الفهم.
المبادئ الستة
- تدل قيمة p على مدى تعارض البيانات مع نموذج إحصائي محدد. النموذج غالبًا هو «لا أثر»، وp تقيس هل بياناتك تنسجم معه أم تتنافر.
- قيمة p ليست احتمال أن تكون الفرضية صحيحة، ولا احتمال أن تكون البيانات ناتجة عن الصدفة وحدها. هي رقم عن البيانات، لا عن الفرضية.
- لا يصح أن يقوم استنتاج علمي أو قرار على مجرد تجاوز عتبة معينة مثل 0.05. الفرق بين 0.049 و0.051 ليس فرقًا بين نتيجة حقيقية وأخرى وهمية.
- الاستدلال السليم يتطلب عرض ما جرى في التحليل كاملًا وبشفافية. رقم p بلا حكاية كيف وصلوا إليه نصف معلومة.
- قيمة p لا تقيس حجم الأثر ولا أهمية النتيجة. قد تكون p صغيرة والفرق تافهًا.
- قيمة p وحدها ليست دليلًا كافيًا على صحة نموذج أو فرضية. هي قطعة من الصورة لا الصورة.
تجربة طالب
جرّب طالب أسلوب مذاكرة جديدًا مع 20 زميلًا، فارتفعت درجاتهم قليلًا، وكتب في تقريره: p = 0.03. معنى ذلك أن نتيجة كهذه نادرة نسبيًا لو لم يكن للأسلوب أي أثر.
ولا يعني أن احتمال نجاح الأسلوب 97٪، ولا أن الارتفاع كبير. فاسأل دائمًا: كم ارتفعت الدرجات؟ وكم شخصًا شملته التجربة؟
اختبر نفسك
خمّن الجواب أولًا، ثم افتح السؤال.
لو كانت p = 0.03، فهل احتمال صحة الفرضية 97٪؟
لا. معناها أن نتيجة كهذه نادرة نسبيًا لو لم يكن هناك أثر، أما احتمال صحة الفرضية فلا تقوله.
هل تعني p أصغر من 0.05 أن الأثر كبير؟
لا. قيمة p لا تقيس حجم الأثر ولا أهميته، فقد تأتي صغيرة مع أثر ضئيل إذا كانت العينة كبيرة.
إذا كانت p كبيرة، فهل يعني ذلك أنه لا يوجد أثر؟
لا. تعني أن البيانات لم تبدُ غريبة بما يكفي لو لم يكن هناك أثر، وهذا لا يثبت غياب الأثر. قد تكون العينة صغيرة فلم تكشفه.