استخراج البيانات

تتمثل إجراءات اختبار الفرضيات الإحصائية التقليدية باستخدام الاحتمالية التكرارية في صياغة فرضية بحثية، مثل "يعيش الأشخاص المنتمون إلى الطبقات الاجتماعية العليا لفترة أطول"، ثم جمع البيانات ذات الصلة. وأخيرًا، يُجرى اختبار الدلالة الإحصائية لمعرفة مدى احتمالية حدوث النتائج بالصدفة وحدها (ويُسمى أيضًا اختبار الفرضية الصفرية).

من أهم مبادئ التحليل الإحصائي السليم اختبار الفرضية باستخدام بيانات لم تُستخدم في صياغتها. وهذا أمر بالغ الأهمية لأن كل مجموعة بيانات تحتوي على أنماط ناتجة عن الصدفة البحتة. فإذا لم تُختبر الفرضية على مجموعة بيانات مختلفة من نفس المجتمع الإحصائي ، يستحيل تقييم احتمالية أن تكون الصدفة وحدها هي سبب ظهور هذه الأنماط.

على سبيل المثال، قد يؤدي رمي قطعة نقدية خمس مرات والحصول على صورتين وثلاث كتابات إلى افتراض أن احتمالية ظهور الكتابات تتراوح بين 3/5 و2/5. إذا تم اختبار هذه الفرضية على مجموعة البيانات الموجودة، فسيتم تأكيدها، لكن هذا التأكيد لا معنى له. الإجراء الصحيح هو وضع فرضية مسبقة حول احتمالية ظهور الكتابات، ثم رمي القطعة النقدية عدة مرات لمعرفة ما إذا كانت الفرضية ستُرفض أم لا. إذا لوحظت ثلاث كتابات وصورتان، يمكن وضع فرضية أخرى، وهي أن احتمالية ظهور الكتابات هي 3/5، ولكن لا يمكن اختبارها إلا من خلال مجموعة جديدة من رميات القطعة النقدية. الدلالة الإحصائية في ظل الإجراء الخاطئ زائفة تمامًا - فاختبارات الدلالة لا تحمي من التلاعب بالبيانات.

التوقف الاختياري هو أسلوب لجمع البيانات حتى استيفاء معايير التوقف المحددة. ورغم أنه إجراء صحيح، إلا أنه يُساء استخدامه بسهولة. تكمن المشكلة في أن قيمة p لاختبار إحصائي متوقف اختياريًا تكون أكبر مما تبدو عليه. ويرجع ذلك بديهيًا إلى أن قيمة p يفترض أن تكون مجموع جميع الأحداث النادرة على الأقل مثل الحدث المرصود. مع التوقف الاختياري، توجد أحداث أندر يصعب حسابها، أي عدم تفعيل قاعدة التوقف الاختياري، وبالتالي جمع المزيد من البيانات قبل التوقف. يؤدي إهمال هذه الأحداث إلى قيمة p منخفضة جدًا. في الواقع، إذا كانت الفرضية الصفرية صحيحة، فيمكن الوصول إلى أي مستوى دلالة إحصائية إذا سُمح بمواصلة جمع البيانات والتوقف عند الحصول على قيمة p المطلوبة (المحسوبة كما لو كان من المخطط جمع هذا القدر من البيانات تحديدًا). ^{​​[ 7 ]} للاطلاع على مثال عملي لاختبار عدالة العملة ، انظر قيمة p §  التوقف الاختياري .

أو بعبارة أخرى، يتطلب حساب قيمة p بشكل صحيح مراعاة الافتراضات المضادة للواقع، أي ما كان يمكن أن يفعله الباحث استجابةً لبيانات كان من الممكن أن تكون. إن مراعاة ما كان من الممكن أن يكون أمر صعب، حتى بالنسبة للباحثين النزيهين. ^{[ 7 ]} إحدى فوائد التسجيل المسبق هي مراعاة جميع الافتراضات المضادة للواقع، مما يسمح بحساب قيمة p بشكل صحيح. ^{[ 8 ]}

لا تقتصر مشكلة التوقف المبكر على سوء سلوك الباحثين فحسب، بل غالباً ما يكون هناك ضغط للتوقف مبكراً إذا كانت تكلفة جمع البيانات مرتفعة. بل إن بعض لجان أخلاقيات البحث على الحيوانات تشترط التوقف المبكر إذا حققت الدراسة نتيجة مهمة في منتصفها. ^{[ 9 ]}

إذا أُزيلت البيانات بعد إجراء بعض التحليلات عليها، بحجة "إزالة القيم الشاذة"، فإن ذلك يزيد من معدل النتائج الإيجابية الخاطئة. لا ينبغي إزالة القيم الشاذة من مجموعة البيانات إلا بعد تحديدها بدقة والتأكد من وجود سبب خاص مسؤول عن هذا التباين غير المعتاد. إن استبدال "القيم الشاذة" ببيانات بديلة يزيد من معدل النتائج الإيجابية الخاطئة. ^{[ 10 ]}

إذا احتوت مجموعة البيانات على عدة خصائص، فيمكن استخدام خاصية واحدة أو أكثر منها للتجميع، مما قد يؤدي إلى نتيجة ذات دلالة إحصائية. على سبيل المثال، إذا سجلت مجموعة بيانات المرضى أعمارهم وجنسهم، فيمكن للباحث تجميعهم حسب العمر والتحقق مما إذا كان معدل الشفاء من المرض مرتبطًا بالعمر. إذا لم ينجح ذلك، فيمكن للباحث التحقق مما إذا كان مرتبطًا بالجنس. وإذا لم يكن كذلك، فربما يرتبط بالعمر بعد ضبط متغير الجنس، وهكذا. يزداد عدد التجميعات الممكنة بشكل كبير مع ازدياد عدد الخصائص. ^{[ 10 ]}

لنفترض أن دراسة أجريت على عينة عشوائية من الناس شملت شخصين فقط من مواليد 7 أغسطس: ماري وجون. قد يحاول شخصٌ ما، من خلال تحليل البيانات، إيجاد أوجه تشابه إضافية بينهما. وبالنظر إلى مئات أو آلاف أوجه التشابه المحتملة، والتي يكون احتمال صحة كل منها ضئيلاً، فمن شبه المؤكد العثور على تشابه غير عادي. ربما يكون جون وماري هما الشخصان الوحيدان في الدراسة اللذان غيّرا تخصصهما الفرعي ثلاث مرات في الجامعة. عندئذٍ، يمكن افتراض فرضية، متأثرة بتحليل البيانات، مفادها أن "الأشخاص المولودين في 7 أغسطس لديهم فرصة أكبر بكثير لتغيير تخصصهم الفرعي أكثر من مرتين في الجامعة".

قد يُنظر إلى البيانات نفسها، إذا أُخذت بمعزل عن سياقها، على أنها تدعم بقوة هذا الارتباط، إذ لم يُغيّر أي شخص من مواليد تاريخ ميلاد مختلف تخصصه الفرعي ثلاث مرات في الجامعة. مع ذلك، إذا كانت هذه فرضية زائفة (كما هو مرجح)، فمن غير المرجح أن تتكرر هذه النتيجة ؛ فأي محاولة للتحقق مما إذا كان لدى آخرين ممن ولدوا في 7 أغسطس معدل مماثل لتغيير تخصصاتهم الفرعية ستؤدي على الأرجح إلى نتائج متناقضة على الفور تقريبًا.

التحيز هو خطأ منهجي في التحليل. على سبيل المثال، وجّه الأطباء مرضى فيروس نقص المناعة البشرية المعرضين لخطر الإصابة بأمراض القلب والأوعية الدموية إلى علاج معين، وهو أباكافير ، بينما وجّهوا المرضى الأقل عرضة للخطر إلى أدوية أخرى، مما حال دون إجراء تقييم بسيط للأباكافير مقارنةً بالعلاجات الأخرى. وقد أدى تحليل لم يُصحّح هذا التحيز إلى معاقبة الأباكافير بشكل غير عادل، نظرًا لأن مرضاه كانوا أكثر عرضة للخطر، وبالتالي أصيب عدد أكبر منهم بنوبات قلبية. ^{[ 6 ]} ويمكن أن تكون هذه المشكلة بالغة الخطورة، على سبيل المثال، في الدراسات الرصدية . ^{[ 6 ] [ 2 ]}

قد تؤدي العوامل المفقودة، والمتغيرات المربكة غير المقاسة ، وفقدان المتابعة إلى التحيز. ^{[ 6 ]} باختيار الأبحاث ذات قيم p ذات الدلالة الإحصائية ، يتم استبعاد الدراسات السلبية، وهو ما يُعرف بتحيز النشر . ويُعرف هذا أيضًا بتحيز درج الملفات ، حيث تُترك نتائج قيم p الأقل دلالة إحصائية في درج الملفات ولا تُنشر أبدًا.

يُمكن ملاحظة جانب آخر من جوانب تأثير معرفة البيانات على الاختبارات الإحصائية عند استخدام تحليل النظام أو الآلة والانحدار الخطي لرصد تكرار البيانات. وتتمثل إحدى الخطوات الحاسمة في هذه العملية في تحديد المتغيرات المصاحبة التي سيتم تضمينها في علاقة تفسر متغيرًا واحدًا أو أكثر. هناك اعتبارات إحصائية (انظر الانحدار التدريجي ) وأخرى موضوعية تدفع الباحثين إلى تفضيل بعض نماذجهم على غيرها، مع استخدام واسع النطاق للاختبارات الإحصائية. ومع ذلك، فإن استبعاد متغير واحد أو أكثر من علاقة تفسيرية بناءً على البيانات يعني عدم إمكانية تطبيق الإجراءات الإحصائية القياسية بشكل صحيح على المتغيرات المتبقية في العلاقة كما لو لم يحدث شيء. في هذه الحالة، كان على المتغيرات المتبقية اجتياز نوع من الاختبار الأولي (ربما اختبار حدسي غير دقيق) فشلت فيه المتغيرات المستبعدة. في عام 1966، شبّه سيلفين وستيوارت المتغيرات المتبقية في النموذج بالأسماك التي لا تسقط من الشبكة، بمعنى أن تأثيراتها ستكون حتمًا أكبر من تأثيرات الأسماك التي تسقط من الشبكة. لا يؤثر هذا فقط على أداء جميع الاختبارات اللاحقة على النموذج التفسيري المُحتفظ به، بل قد يُدخل أيضًا تحيزًا ويغير متوسط ​​مربع الخطأ في التقدير. ^{[ 11 ] [ 12 ]}

في علم الأرصاد الجوية ، تُصاغ الفرضيات عادةً باستخدام بيانات الطقس الحالية، ثم تُختبر بمقارنتها ببيانات الطقس المستقبلية، مما يضمن عدم تأثير البيانات المستقبلية، حتى وإن كان ذلك بشكل غير واعٍ، على صياغة الفرضية. وبطبيعة الحال، يتطلب هذا التخصص انتظار بيانات جديدة لإظهار القدرة التنبؤية للنظرية المطروحة مقارنةً بالفرضية الصفرية . تضمن هذه العملية عدم إمكانية اتهام الباحث بتعديل النموذج التنبؤي وفقًا للبيانات المتاحة، نظرًا لعدم توفر بيانات الطقس المستقبلية بعد.

كمثال آخر، لنفترض أن مراقبين لاحظوا وجود بؤرة سرطان في بلدة معينة ، لكنهم يفتقرون إلى فرضية محددة تفسر ذلك. مع ذلك، لديهم إمكانية الوصول إلى كمية كبيرة من البيانات الديموغرافية حول البلدة والمنطقة المحيطة بها، والتي تتضمن قياسات لمئات أو آلاف المتغيرات المختلفة، معظمها غير مترابط. حتى لو كانت جميع هذه المتغيرات مستقلة عن معدل الإصابة بالسرطان، فمن المرجح جدًا أن يكون هناك متغير واحد على الأقل مرتبط ارتباطًا وثيقًا بمعدل الإصابة بالسرطان في المنطقة. في حين أن هذا قد يشير إلى فرضية، إلا أن هناك حاجة إلى مزيد من الاختبارات باستخدام المتغيرات نفسها ولكن ببيانات من موقع مختلف للتأكيد. تجدر الإشارة إلى أن قيمة p البالغة 0.01 تشير إلى أنه في 1% من الحالات، يمكن الحصول على نتيجة متطرفة كهذه بالصدفة؛ فإذا تم اختبار مئات أو آلاف الفرضيات (بمتغيرات مستقلة غير مترابطة نسبيًا)، فمن المرجح الحصول على قيمة p أقل من 0.01 للعديد من الفرضيات الصفرية.

تُعدّ مشكلة التلاعب بقيمة p شائعة بشكل مثير للقلق في تطوير الأدوية والأبحاث الصيدلانية. ^{[ 13 ] [ 14 ]} إذ يُمكن إظهار تأثير ذي دلالة إحصائية لأدوية ليس لها تأثير ملحوظ عند إجراء مئات، إن لم يكن آلاف، التحليلات - على نفس البيانات - باستخدام مجموعات مستهدفة مختلفة، ومقاييس نتائج أولية مختلفة، وتعديلات عمرية مختلفة، والعديد من المتغيرات الأخرى التي يُمكن حذفها أو اختيارها للحصول على نتيجة ذات مغزى. ^{[ 15 ]} حتى في حالة عدم وجود أي تأثير قابل للقياس للدواء، فإنه عند إجراء عدد كافٍ من التحليلات، سيتم العثور على تأثير قوي ذي دلالة إحصائية (على سبيل المثال، "حسّن الدواء بشكل ملحوظ وظيفة الذاكرة لدى النساء فوق سن الأربعين"، حيث لم تكن وظيفة الذاكرة هي النتيجة الأولية الأصلية التي تم تقييمها). لا يتطلب هذا أي تزوير للبيانات، ولا حذف نتائج غير ملائمة. بدلاً من ذلك، يعتمد التلاعب بقيمة p ببساطة على التحليلات المتكررة لنفس البيانات حتى يجد الباحث الارتباط مع أفضل قيمة p . يتم ضبط التحليل بدقة وفقًا للبيانات، بدلاً من التلاعب بالبيانات بأي شكل من الأشكال.