مئة دراسة تُعاد من جديد
تقرأ عنوانًا يقول «دراسة جديدة تثبت أن…» وتشعر أن المسألة حُسمت. السؤال الذي سألته مجموعة كبيرة من الباحثين هو: لو أعاد باحثون آخرون الدراسة نفسها، فهل تظهر النتيجة نفسها؟
للإجابة نفّذ نحو 270 باحثًا ضمن «مشروع العلم المفتوح» (Open Science Collaboration) إعادة لمئة دراسة في علم النفس نُشرت في ثلاث مجلات عام 2008 [1]. لم يكتفوا بالنقاش النظري حول موثوقية النتائج، بل أعادوا التجارب فعلًا وقارنوا ما خرج بما نُشر.
ما الذي تغيّر بين الأصل والإعادة
- حجم الأثر، أي مقدار الفرق الذي ظهر في التجربة، جاء في الإعادات بنحو نصف حجمه في الدراسات الأصلية. تخيّل أن دراسة وجدت لطريقة مذاكرة فرقًا واضحًا في الدرجات، فالمتوقع من إعادتها بحسب هذه النتيجة فرق يبلغ نحو نصفه.
- الدلالة الإحصائية، أي أن يكون الفرق مما يصعب تفسيره بالصدفة وحدها، ظهرت في نتائج 36٪ من الإعادات، مقابل 97٪ من الدراسات الأصلية.
لا تقفز إلى «كل شيء خطأ»
هذه النتيجة لا تعني أن علم النفس كله خطأ. ولا تعني أيضًا أن الدراسات التي لم تتكرر في هذا المشروع خاطئة بالضرورة. ما تقوله بدقة أن نتيجة نُشرت مرة واحدة قد لا تتكرر. ثم إن المشروع غطّى علم النفس وحده، فلا يصح أن ننقل نسبه إلى بقية العلوم.
عادة صغيرة عند قراءة الأخبار العلمية
حين يصلك خبر عن «اكتشاف» جديد في السلوك أو النفس، اسأل نفسك قبل أن تغيّر عادة أو تنقل الخبر:
- هل أعاد باحثون آخرون الدراسة؟
- هل هناك تحليل تلوي، أي دراسة تجمع نتائج دراسات كثيرة وتحللها معًا؟
- هل يقول الخبر «يثبت» لدراسة واحدة، وهي كلمة أكبر من حجم دليلها؟
بين السذاجة والشك في كل شيء
قد تستنتج أن العلم لا يُوثق به. الأقرب أن تقرأ المشروع نفسه على أنه علم يراجع نفسه: باحثون اتفقوا على اختبار عملهم أمام الجميع وأعلنوا ما وجدوه. لذلك نعطي ثقة أكبر لما أُعيد اختباره أو جُمعت نتائجه في تحليل تلوي، وعلى هذا الأساس بُنيت صفحتا قوة الإرادة وكثرة الخيارات.