تأثير البحث في مكان آخر

يُعدّ تأثير البحث في أماكن أخرى ظاهرةً في التحليل الإحصائي للتجارب العلمية، حيث قد تكون الملاحظة التي تبدو ذات دلالة إحصائية قد نشأت في الواقع بالصدفة بسبب الحجم الهائل لمساحة المعلمات المراد البحث فيها. ^{[ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ]}

بمجرد الإقرار بإمكانية حدوث خطأ في التحليل نتيجة البحث في مصادر أخرى، يمكن تدارك هذا الخطأ من خلال تطبيق دقيق للتقنيات الرياضية القياسية. ^{[ 6 ] [ 7 ] [ 8 ]}

يُعرف هذا المصطلح في الإحصاء بشكل عام باسم مشكلة المقارنات المتعددة ، وقد حظي ببعض الاهتمام الإعلامي في عام 2011، في سياق البحث عن بوزون هيغز في مصادم الهادرونات الكبير . ^{[ 9 ]}

تُقدّم العديد من الاختبارات الإحصائية قيمة احتمالية (p-value) ، وهي احتمال الحصول على نتيجة معينة بالصدفة، بافتراض أن الفرضية المراد إثباتها خاطئة. عند السؤال "هل يؤثر X على Y ؟"، من الشائع تغيير قيمة X وملاحظة ما إذا كان هناك تغيير معنوي في Y نتيجة لذلك. إذا كانت هذه القيمة الاحتمالية أقل من عتبة الدلالة الإحصائية المحددة مسبقًا α ، تُعتبر النتيجة "معنوية".

مع ذلك، إذا أُجريت اختبارات متعددة ("بالبحث في مكان آخر" في حال فشل الاختبار الأول)، فمن المتوقع أن تظهر قيمة p تساوي 1/ n مرة واحدة لكل n اختبار. على سبيل المثال، عندما لا يكون هناك تأثير حقيقي، سيظل حدث بقيمة p < 0.05 يحدث مرة واحدة، في المتوسط، لكل 20 اختبارًا. وللتعويض عن ذلك، يمكن قسمة العتبة α على عدد الاختبارات n ، بحيث تكون النتيجة ذات دلالة إحصائية عندما p < α / n . أو، بصورة مكافئة، ضرب قيمة p المُلاحظة في عدد الاختبارات (تكون النتيجة ذات دلالة إحصائية عندما np < α ).  

هذه حالة مبسطة؛ فالعدد n هو في الواقع عدد درجات الحرية في الاختبارات، أو عدد الاختبارات المستقلة فعلياً. إذا لم تكن مستقلة تماماً، فقد يكون العدد أقل من عدد الاختبارات.

يُعدّ تأثير البحث في مصادر أخرى سببًا شائعًا لتضخيم الدلالة الإحصائية، حيث يُقلّل من تقدير عدد الاختبارات المستقلة (n) بسبب عدم نشر الاختبارات الفاشلة. قد لا تذكر إحدى الدراسات الفرضيات البديلة التي تمّت دراستها، أو قد لا تُنشر دراسة لم تُسفر عن أي نتيجة على الإطلاق، مما يؤدي إلى هيمنة النتائج الشاذة إحصائيًا على المجلات العلمية.

• سعت دراسة سويدية أُجريت عام 1992 إلى تحديد ما إذا كانت خطوط نقل الطاقة الكهربائية تُسبب آثارًا صحية سلبية . أجرى الباحثون مسحًا لجميع سكان المناطق الواقعة ضمن نطاق 300 متر من خطوط نقل الطاقة عالية الجهد على مدى 25 عامًا، وبحثوا عن زيادات ذات دلالة إحصائية في معدلات الإصابة بأكثر من 800 مرض. وخلصت الدراسة إلى أن معدل الإصابة بسرطان الدم لدى الأطفال كان أعلى بأربع مرات بين أولئك الذين يعيشون بالقرب من خطوط نقل الطاقة مقارنةً بالمتوسط، مما دفع الحكومة السويدية إلى المطالبة باتخاذ إجراءات عاجلة . إلا أن المشكلة في هذه النتيجة تكمن في عدم مراعاة تأثير البحث في أماكن أخرى؛ ففي أي مجموعة من 800 عينة عشوائية، من المرجح أن تكون إحدى العينات على الأقل أعلى من القيمة المتوقعة بمقدار 3 انحرافات معيارية على الأقل، وذلك بمحض الصدفة. ولم تُظهر الدراسات اللاحقة أي صلة بين خطوط نقل الطاقة الكهربائية وسرطان الدم لدى الأطفال، لا من حيث السببية ولا حتى من حيث الارتباط. ^{[ 10 ]}

  

• تزعم ظاهرة "شفرة الكتاب المقدس" اكتشاف تجمعات غير نمطية ذات دلالة من الكلمات، تتنبأ بأحداث مستقبلية، مخبأة في نص الكتاب المقدس العبري، الذي يُنظر إليه كسلسلة خام من الأحرف غير المتباعدة، ثم يُرتب في شبكات مختلفة الأحجام. مع ذلك، وكما أوضحت مقالة في مجلة "سكيبتيكال إنكوايرر " ^{[ 11 ]،} فإن هذا يُؤدي إلى توليد أعداد هائلة من الشبكات لفحصها بحثًا عن أنماط أو تجمعات، وذلك بتقسيم النص الكامل إلى أجزاء يتراوح عرضها من بضعة أحرف إلى مئات الآلاف، مع تكرار العرض في الصفوف اللاحقة. ويمكن بعد ذلك البحث في كل شبكة من هذه الشبكات العديدة عن نطاق واسع من الكلمات المهمة، وذلك بالقفز، للأمام أو للخلف، بمقدار x حرفًا عشوائيًا في النص (أو x+1، x+2، إلخ)، ضمن مجموعة هائلة من الاحتمالات المُحددة . ويمكن أن تكون الكلمة المهمة المرتبطة بها أي سلسلة قريبة ضمن قفزة عشوائية بمقدار x+k أو y+k حرفًا، للأمام أو للخلف، بحيث تصبح أحجام الاحتمالات هائلة. وبالتالي، وبغض النظر عن مسائل أخرى ذات صلة مثل تحيز التأكيد ، فحتى لو لم يتم العثور على أي مجموعات ذات أهمية أو دلالة في الشبكة الأولى، يمكن تجربة التكرار التالي بواسطة الحاسوب وهكذا بشكل جماعي حتى يتم التوصل في النهاية إلى مجموعات "معجزة" أو "غير محتملة". وهذا يُشبه إلى حد كبير، عند توزيع أوراق بوكر غير مثيرة للاهتمام على النفس ، الاستمرار في ذلك بكميات كبيرة قدر الإمكان حتى الحصول على ستريت فلاش ، أو رويال فلاش ، أو حتى العديد من هذه الأحداث المتتالية، ثم وصف أوراق اللعب بأنها مُلهمة لتمكينها من تحقيق هذه النتيجة. وهكذا تمكن مؤلف "المُستفسر المُتشكك" من تحقيق نتائج مماثلة ببساطة عن طريق تطبيق خوارزميات البحث نفسها على نص الكتاب المقدس باللغة الإنجليزية (نسخة الملك جيمس) بدلاً من النسخة العبرية التي يُزعم أنها مُلهمة إلهيًا، ثم بنفس الفعالية على نص المثال العادي والعشوائي لقرار المحكمة العليا الأمريكية لعام 1987 في قضية إدواردز ضد أغويلارد .

• تصحيح بونفيروني
• استخراج البيانات
• قانون الأعداد الكبيرة حقًا : مع حجم عينة كبير بما يكفي، من المرجح أن يحدث أي شيء غير عادي
• قانون ليتلوود : يمكن لأي فرد أن يتوقع حدوث "معجزة" له بمعدل معجزة واحدة تقريبًا كل شهر
• مغالطة قناص تكساس
• مشكلة المقارنات المتعددة

• رسم كاريكاتوري من XKCD يوضح تأثير النظر إلى مكان آخر