مشكلة المقارنات المتعددة

📅 آخر تحديث: ١٩ يوليو ٢٠٢٦
✍️ نُشر في: ١٩ يوليو ٢٠٢٦
📷 يحتوي على 20 صور
الموسوعة الحرة
مثال على المصادفة الناتجة عن التنقيب في البيانات (مقارنات متعددة غير مصححة) يُظهر وجود ارتباط بين عدد حروف الكلمة الفائزة في مسابقة تهجئة وعدد الأشخاص الذين لقوا حتفهم في الولايات المتحدة بسبب لدغات العناكب السامة. مع توفر عدد كافٍ من المتغيرات لنفس الفترة الزمنية، يُمكن إيجاد زوج من الرسوم البيانية يُظهر ارتباطًا زائفًا .

تحدث مشكلة المقارنات المتعددة ، أو التعددية ، أو الاختبارات المتعددة عند إجراء العديد من الاختبارات الإحصائية على نفس مجموعة البيانات. لكل اختبار احتماله الخاص لحدوث خطأ من النوع الأول (نتيجة إيجابية خاطئة)، لذا فإن الاحتمال الإجمالي للحصول على نتيجة إيجابية خاطئة واحدة على الأقل يزداد مع ازدياد عدد الاختبارات. في الإحصاء ، يحدث هذا عند النظر في مجموعة من الاستدلالات الإحصائية في آن واحد [ 1 ] أو عند تقدير مجموعة فرعية من المعلمات المختارة بناءً على القيم المرصودة. [ 2 ]

يُقاس احتمال النتائج الإيجابية الخاطئة بمعدل الخطأ الإجمالي (FWER). كلما زاد عدد الاستدلالات المُستخلصة في سلسلة من الاختبارات، زاد احتمال حدوث استدلالات خاطئة. وقد طُوّرت العديد من الأساليب الإحصائية للتعويض عن كثرة الاستدلالات المُستخلصة، وذلك مثلاً من خلال اشتراط عتبة دلالة أكثر صرامة للمقارنات الفردية.

تاريخ

حظيت مشكلة المقارنات المتعددة باهتمام متزايد في خمسينيات القرن العشرين بفضل أعمال إحصائيين مثل توكي وشيفيه . وعلى مدى العقود اللاحقة، طُوّرت العديد من الإجراءات لمعالجة هذه المشكلة. وفي عام ١٩٩٦، عُقد أول مؤتمر دولي حول إجراءات المقارنات المتعددة في تل أبيب . [ ٣ ] وينشط في هذا المجال عدد من الباحثين، منهم إيمانويل كانديس وفلاديمير فوفك .

تعريف

إنتاج قيمة احتمالية صغيرة نتيجةً لاختبارات متعددة. تم رصد 30 عينة، كل منها تحتوي على 10 نقاط بلون عشوائي (أزرق أو أحمر). أُجري اختبار ثنائي الطرف على كل عينة لاختبار الفرضية الصفرية القائلة بأن احتمالية ظهور اللونين الأزرق والأحمر متساوية. يُظهر الصف الأول القيم الاحتمالية المحتملة كدالة لعدد النقاط الزرقاء والحمراء في العينة. على الرغم من محاكاة جميع العينات الثلاثين وفقًا للفرضية الصفرية، إلا أن إحدى القيم الاحتمالية الناتجة صغيرة بما يكفي لإنتاج رفض خاطئ عند المستوى المعتاد 0.05 في حال عدم إجراء تصحيح.

تنشأ المقارنات المتعددة عندما يتضمن التحليل الإحصائي عدة اختبارات إحصائية متزامنة، لكل منها القدرة على إحداث "اكتشاف". عادةً ما ينطبق مستوى الثقة المحدد على كل اختبار على حدة، ولكن غالبًا ما يكون من المستحسن تحديد مستوى ثقة لمجموعة الاختبارات المتزامنة بأكملها. [ 4 ] قد يترتب على عدم مراعاة المقارنات المتعددة عواقب وخيمة في الواقع، كما توضح الأمثلة التالية:

  • لنفترض أن المعالجة هي طريقة جديدة لتعليم الكتابة للطلاب، وأن المجموعة الضابطة هي الطريقة القياسية لتعليم الكتابة. يمكن مقارنة الطلاب في المجموعتين من حيث القواعد، والإملاء، والتنظيم، والمحتوى، وما إلى ذلك. كلما زاد عدد السمات التي تتم مقارنتها، ازداد احتمال ظهور اختلاف بين مجموعتي المعالجة والضابطة في سمة واحدة على الأقل نتيجة لخطأ المعاينة العشوائية وحده.
  • لنفترض أننا نقيّم فعالية دواء ما من حيث تخفيفه لأحد أعراض مرض معين. فكلما زاد عدد الأعراض التي نأخذها في الاعتبار، ازداد احتمال أن يُظهر الدواء تحسناً مقارنةً بالأدوية الموجودة حالياً فيما يتعلق بعرض واحد على الأقل.

في كلا المثالين، مع ازدياد عدد المقارنات، يزداد احتمال اختلاف المجموعات المُقارنة في سمة واحدة على الأقل. وبالتالي، تكون ثقتنا في إمكانية تعميم نتيجة ما على بيانات مستقلة أضعف عمومًا إذا تم رصدها كجزء من تحليل يتضمن مقارنات متعددة، مقارنةً بتحليل يتضمن مقارنة واحدة فقط.

على سبيل المثال، إذا أُجري اختبار واحد عند مستوى دلالة 5% وكانت الفرضية الصفرية المقابلة صحيحة، فإن احتمال رفض الفرضية الصفرية خطأً لا يتجاوز 5%. أما إذا أُجري 100 اختبار، كل منها عند مستوى دلالة 5%، وكانت جميع الفرضيات الصفرية المقابلة صحيحة، فإن العدد المتوقع لرفض الفرضية الصفرية خطأً (المعروف أيضًا بالنتائج الإيجابية الخاطئة أو أخطاء النوع الأول ) هو 5. وإذا كانت الاختبارات مستقلة إحصائيًا عن بعضها (أي أُجريت على عينات مستقلة)، فإن احتمال رفض الفرضية الصفرية خطأً مرة واحدة على الأقل يبلغ حوالي 99.4%.

تنطبق مشكلة المقارنات المتعددة أيضًا على فترات الثقة . ففترة ثقة واحدة بمستوى تغطية 95% تحتوي على القيمة الحقيقية للمعلمة في 95% من العينات. مع ذلك، إذا نظرنا إلى 100 فترة ثقة في آنٍ واحد، كل منها بمستوى تغطية 95%، فإن العدد المتوقع للفترات غير المُغطاة هو 5. وإذا كانت الفترات مستقلة إحصائيًا عن بعضها، فإن احتمال عدم احتواء فترة واحدة على الأقل على معلمة المجتمع هو 99.4%.

تم تطوير تقنيات لمنع تضخم معدلات النتائج الإيجابية الكاذبة ومعدلات عدم التغطية التي تحدث مع الاختبارات الإحصائية المتعددة.

تصنيف اختبارات الفرضيات المتعددة

يوضح الجدول التالي النتائج المحتملة عند اختبار عدة فرضيات صفرية. لنفترض أن لدينا عددًا m من الفرضيات الصفرية، يُرمز لها بـ: H₁ ، H₂ ، ... ، Hₘ .    باستخدام اختبار إحصائي ، نرفض الفرضية الصفرية إذا كانت نتيجة الاختبار دالة إحصائيًا. ولا نرفضها إذا كانت النتيجة غير دالة إحصائيًا. بجمع كل نوع من النتائج لجميع الفرضيات الصفرية Hᵢ ،  نحصل على المتغيرات العشوائية التالية:

الفرضية الصفرية صحيحة (H 0 )الفرضية البديلة صحيحة (H A )المجموع
تم إعلان الاختبار ذا دلالة إحصائيةVSR
تم إعلان الاختبار غير ذي دلالة إحصائية.يوتيم-R{\displaystyle mR}
المجموعم0{\displaystyle m_{0}}م-م0{\displaystyle m-m_{0}}م

في اختبارات الفرضيات m التيم0{\displaystyle m_{0}}إذا كانت الفرضيات الصفرية صحيحة، فإن R متغير عشوائي قابل للملاحظة، و S و T و U و V متغيرات عشوائية غير قابلة للملاحظة .

إجراءات الرقابة

P(at least 1 H_0 is wrongly rejected)00.20.40.60.8101020304050P(at least 1 H_0 is wrongly rejected)Probability of rejecting null hypothesis
احتمال رفض فرضية العدم بشكل خاطئ، لـαلكل مقارنة=0.05{\displaystyle \alpha _{\text{per comparison}}=0.05}، كدالة لعدد الاختبارات المستقلةم{\displaystyle m}عرض بيانات المصدر .

تصحيح الاختبارات المتعددة

يشير تصحيح الاختبارات المتعددة إلى جعل الاختبارات الإحصائية أكثر صرامة لمواجهة مشكلة الاختبارات المتعددة. يُعد تصحيح بونفيروني أشهر هذه التعديلات ، ولكن طُوّرت طرق أخرى. تُصمّم هذه الطرق عادةً للتحكم في معدل الخطأ الإجمالي أو معدل الاكتشاف الخاطئ .

إذا تم إجراء m مقارنة مستقلة، فإن معدل الخطأ على مستوى العائلة (FWER) يُعطى بالصيغة التالية:

α¯=1-(1-α{لكل مقارنة})م.{\displaystyle {\bar {\alpha }}=1-\left(1-\alpha _{\{{\text{per comparison}}\}}\right)^{m}.}

وبالتالي، ما لم تكن الاختبارات مرتبطة ارتباطًا إيجابيًا تامًا (أي متطابقة)،α¯{\displaystyle {\bar {\alpha }}}يزداد هذا مع ازدياد عدد المقارنات. وإذا لم نفترض استقلالية المقارنات، فإنه لا يزال بإمكاننا القول:

α¯≤م⋅α{لكل مقارنة}،{\displaystyle {\bar {\alpha }}\leq m\cdot \alpha _{\{{\text{per comparison}}\}},}

وهذا ما ينتج عن متباينة بول . مثال:0.2649=1-(1-0.05)6≤0.05×6=0.3{\displaystyle 0.2649=1-(1-.05)^{6}\leq .05\times 6=0.3}

توجد طرق مختلفة لضمان أن يكون معدل الخطأ على مستوى العائلة في أقصى حدα{\displaystyle \alpha }أما الطريقة الأكثر تحفظاً، والتي تخلو من افتراضات التبعية والتوزيع، فهي تصحيح بونفيروني.α{صهـر جoمصأرأناsoن}=α/م{\displaystyle \alpha _{\mathrm {\{per\ comparison\}} }={\alpha }/m}يمكن الحصول على تصحيح أقل تحفظًا بشكل طفيف عن طريق حل المعادلة الخاصة بمعدل الخطأ على مستوى العائلة لـم{\displaystyle m}مقارنات مستقلة لـα{صهـر جoمصأرأناsoن}{\displaystyle \alpha _{\mathrm {\{per\ comparison\}} }}وهذا ينتج عنهα{لكل مقارنة}=1-(1-α)1/م{\displaystyle \alpha _{\{{\text{per comparison}}\}}=1-{(1-{\alpha })}^{1/m}}وهو ما يُعرف بتصحيح شيداك . وهناك إجراء آخر هو طريقة هولم-بونفيروني ، التي توفر قوة إحصائية أكبر من تصحيح بونفيروني البسيط، وذلك عن طريق اختبار أقل قيمة احتمالية فقط.أنا=1{\displaystyle i=1}) مقابل المعيار الأكثر صرامة، وقيم p الأعلى (أنا>1{\displaystyle i>1}) مقابل معايير أقل صرامة تدريجياً. [ 5 ]α{صهـر جoمصأرأناsoن}=α/(م-أنا+1){\displaystyle \alpha _{\mathrm {\{per\ comparison\}} }={\alpha }/(m-i+1)}.

طريقة بونفيروني الكلاسيكية سهلة الفهم، ولكن لا يُنصح باستخدامها لأنها متحفظة للغاية. توجد حاسبات إلكترونية لتصحيح المقارنات المتعددة باستخدام طريقة هولم-بونفيروني الحديثة أو إجراء بنجاميني-هوخبيرغ. [ 6 ]

بالنسبة للمسائل المستمرة، يمكن استخدام المنطق البايزي للحسابم{\displaystyle m}من نسبة الحجم قبل وبعد. تم تقديم تعميمات مستمرة لتصحيح بونفيروني وشيداك في [ 7 ] .

اختبار متعدد واسع النطاق

تركز الطرق التقليدية لتعديل المقارنات المتعددة على تصحيح عدد محدود من المقارنات، غالبًا في تحليل التباين . وقد طُوّرت مجموعة مختلفة من التقنيات لـ"الاختبارات المتعددة واسعة النطاق"، حيث تُجرى آلاف الاختبارات أو حتى أعداد أكبر. على سبيل المثال، في علم الجينوم ، عند استخدام تقنيات مثل المصفوفات الدقيقة ، يمكن قياس مستويات التعبير لعشرات الآلاف من الجينات، والأنماط الجينية لملايين المؤشرات الجينية. في مجال دراسات الارتباط الجيني تحديدًا ، برزت مشكلة خطيرة تتمثل في عدم التكرار، أي أن النتيجة تكون ذات دلالة إحصائية قوية في دراسة ما، لكنها لا تتكرر في دراسة لاحقة. قد يكون لعدم التكرار أسباب عديدة، ولكن يُعتقد على نطاق واسع أن عدم مراعاة عواقب إجراء مقارنات متعددة بشكل كامل هو أحد هذه الأسباب. [ ٨ ] يُقال إن التطورات في تقنيات القياس والمعلومات سهّلت بشكل كبير توليد مجموعات بيانات ضخمة للتحليل الاستكشافي ، مما يؤدي غالبًا إلى اختبار عدد كبير من الفرضيات دون وجود أساس مسبق لتوقع صحة العديد منها. في هذه الحالة، يُتوقع ارتفاع معدلات النتائج الإيجابية الخاطئة بشكل كبير ما لم تُجرَ تعديلات على المقارنات المتعددة.

في مسائل الاختبار واسعة النطاق، حيث يكون الهدف هو تقديم نتائج قاطعة، يظل معدل الخطأ الإجمالي المعيار الأكثر قبولًا لتحديد مستويات الدلالة الإحصائية للاختبارات. في المقابل، إذا نُظر إلى الدراسة على أنها استكشافية، أو إذا أمكن إعادة اختبار النتائج المهمة بسهولة في دراسة مستقلة، يُفضّل غالبًا التحكم في معدل الاكتشاف الخاطئ (FDR) [ 9 ] [ 10 ] [ 11 ] . يسمح معدل الاكتشاف الخاطئ، الذي يُعرَّف بشكل عام بأنه النسبة المتوقعة للنتائج الإيجابية الخاطئة من بين جميع الاختبارات المهمة، للباحثين بتحديد مجموعة من "النتائج الإيجابية المحتملة" التي يمكن تقييمها بدقة أكبر في دراسة لاحقة. [ 12 ]

إن ممارسة إجراء العديد من المقارنات غير المعدلة على أمل العثور على مقارنة ذات دلالة إحصائية هي مشكلة معروفة، سواء تم تطبيقها عن غير قصد أو عن قصد، وتسمى أحيانًا " التلاعب الإحصائي ". [ 13 ] [ 14 ]

تقييم ما إذا كانت أي فرضيات بديلة صحيحة

رسم بياني للتوزيع الكمي الطبيعي لمجموعة محاكاة من إحصائيات الاختبار التي تم توحيدها لتصبح درجات Z تحت الفرضية الصفرية. يعود انحراف الطرف العلوي للتوزيع عن الاتجاه المتوقع على طول القطر إلى وجود عدد أكبر بكثير من قيم إحصائيات الاختبار الكبيرة مقارنةً بما هو متوقع في حال صحة جميع الفرضيات الصفرية. تشير النقطة الحمراء إلى رابع أكبر إحصائية اختبار مُلاحظة، وهي 3.13، مقابل قيمة متوقعة تبلغ 2.06. وتشير النقطة الزرقاء إلى خامس أصغر إحصائية اختبار، وهي -1.75، مقابل قيمة متوقعة تبلغ -1.96. يُشير الرسم البياني إلى أنه من غير المرجح أن تكون جميع الفرضيات الصفرية صحيحة، وأن معظم أو جميع حالات صحة الفرضية البديلة ناتجة عن انحرافات في الاتجاه الموجب.

من الأسئلة الأساسية التي تُطرح عند تحليل مجموعة كبيرة من نتائج الاختبارات، ما إذا كان هناك دليل على صحة أي من الفرضيات البديلة. أحد الاختبارات التحليلية البسيطة التي يمكن تطبيقها، بافتراض استقلالية الاختبارات، هو استخدام توزيع بواسون كنموذج لعدد النتائج ذات الدلالة الإحصائية عند مستوى دلالة معين (α) والتي يُفترض وجودها عند صحة جميع الفرضيات الصفرية. إذا كان عدد النتائج الإيجابية المُلاحظ أكبر بكثير من المتوقع، فهذا يشير إلى احتمال وجود بعض النتائج الإيجابية الحقيقية بين النتائج ذات الدلالة الإحصائية.

على سبيل المثال، إذا أُجري 1000 اختبار مستقل، كل منها عند مستوى دلالة α  =  0.05، نتوقع حدوث 50 اختبارًا ذا دلالة إحصائية (0.05 × 1000 = 50) عندما تكون جميع الفرضيات الصفرية صحيحة. وبناءً على توزيع بواسون بمتوسط ​​50، فإن احتمال الحصول على أكثر من 61 اختبارًا ذا دلالة إحصائية أقل من 0.05، لذا إذا لوحظ أكثر من 61 نتيجة ذات دلالة إحصائية، فمن المرجح جدًا أن بعضها يتوافق مع حالات تكون فيها الفرضية البديلة صحيحة. من عيوب هذا النهج أنه يبالغ في تقدير الأدلة على صحة بعض الفرضيات البديلة عندما تكون إحصائيات الاختبار مرتبطة ارتباطًا إيجابيًا، وهو أمر شائع في الممارسة العملية. من ناحية أخرى، يظل هذا النهج صالحًا حتى في وجود ارتباط بين إحصائيات الاختبار، طالما أمكن إثبات أن توزيع بواسون يوفر تقريبًا جيدًا لعدد النتائج ذات الدلالة الإحصائية. يظهر هذا السيناريو، على سبيل المثال، عند استخراج مجموعات العناصر المتكررة ذات الدلالة الإحصائية من مجموعات بيانات المعاملات. علاوة على ذلك، يمكن لتحليل دقيق من مرحلتين أن يحدد معدل الاكتشاف الخاطئ عند مستوى محدد مسبقًا. [ 15 ]

ثمة نهج شائع آخر يُمكن استخدامه في الحالات التي يُمكن فيها توحيد إحصائيات الاختبار إلى درجات Z، وهو رسم مخطط كمي طبيعي لإحصائيات الاختبار. إذا كانت الكميات المرصودة أكثر تشتتًا بشكل ملحوظ من الكميات الطبيعية، فهذا يُشير إلى أن بعض النتائج المهمة قد تكون إيجابية حقيقية.

انظر أيضاً

المفاهيم الأساسية
إجراءات من خطوة واحدة
إجراءات "محمية" على مرحلتين
الإجراءات المتسلسلة
الطرق العامة لتعديل مستوى الدلالة الإحصائية للمقارنات المتعددة
مفاهيم ذات صلة

مراجع

  1. ↑ ميلر، آر جي (1981). الاستدلال الإحصائي المتزامن، الطبعة الثانية . سبرينغر فيرلاغ، نيويورك. ISBN 978-0-387-90548-8.
  2. ↑ بنجاميني، ي. (2010). "الاستدلال المتزامن والانتقائي: النجاحات الحالية والتحديات المستقبلية". مجلة القياسات الحيوية . 52 (6): 708-721 . Bibcode : 2010BiomJ..52..708B . doi : 10.1002/bimj.200900299 . PMID: 21154895. S2CID : 8806192 .  
  3. ↑ "الصفحة الرئيسية" . mcp-conference.org .
  4. ↑ كوتنر، مايكل؛ ناختشيم، كريستوفر؛ نيتر، جون ؛ لي، ويليام (2005). النماذج الإحصائية الخطية التطبيقية . ماكجرو هيل إروين. الصفحات 744-745 . ISBN  9780072386882.
  5. ↑ أيكين، م؛ جينسلر، هـ (مايو 1996). "تعديل نتائج الاختبارات المتعددة عند الإبلاغ عن نتائج البحوث: طريقة بونفيروني مقابل طريقة هولم" . المجلة الأمريكية للصحة العامة . 86 (5): 726-728 . doi : 10.2105/ajph.86.5.726 . PMC 1380484. PMID 8629727 .  
  6. ↑ غونارسون، روني ك. (2026). "مستوى الأهمية" . INFOVOICE.SE .
  7. ↑ باير، أدريان إي؛ سيلياك، أوروش (2020). "تأثير البحث في مكان آخر من منظور بايزي وتكراري موحد" . مجلة علم الكونيات وفيزياء الجسيمات الفلكية . 2020 (10): 009. arXiv : 2007.13821 . Bibcode : 2020JCAP...10..009B . doi : 10.1088/1475-7516/2020/10/009 . S2CID 220830693 . 
  8. ↑ كو، هوي-تشي؛ تيان، ماثيو؛ بوليكروناكوس، قسطنطين (2010-10-01). "الدلالة الإحصائية في دراسات الارتباط الجيني" . الطب السريري والبحثي . 33 (5): E266– E270 . ISSN 0147-958X . PMC 3270946. PMID 20926032 .   
  9. ↑ بنجاميني، يوآف؛ هوشبرغ، يوسف (1995). "التحكم في معدل الاكتشاف الخاطئ: منهج عملي وفعال للاختبارات المتعددة". مجلة الجمعية الإحصائية الملكية، السلسلة ب . 57 (1): 125-133 . doi : 10.1111/j.2517-6161.1995.tb02031.x . JSTOR 2346101 . 
  10. ↑ ستوري، جيه دي؛ تيبشيراني، روبرت (2003). "الدلالة الإحصائية للدراسات الجينومية الشاملة" . وقائع الأكاديمية الوطنية للعلوم . 100 ( 16 ): 9440-9445 . رمز Bibcode : 2003PNAS..100.9440S . doi : 10.1073/pnas.1530509100 . JSTOR 3144228. PMC 170937. PMID 12883005 .   
  11. ↑ إيفرون، برادلي؛ تيبشيراني، روبرت؛ ستوري، جون د.؛ توشر، فيرجينيا (2001). "تحليل بايز التجريبي لتجربة المصفوفات الدقيقة". مجلة الجمعية الإحصائية الأمريكية . 96 (456): 1151-1160 . Bibcode : 2001JASA...96.1151E . doi : 10.1198/016214501753382129 . JSTOR 3085878. S2CID 9076863 .  
  12. ↑ نوبل، ويليام س. (1 ديسمبر 2009). "كيف يعمل تصحيح الاختبارات المتعددة؟" . مجلة نيتشر للتكنولوجيا الحيوية . 27 (12): 1135-1137 . رمز Bibcode : 2009NatBi..27.1135N . doi : 10.1038/nbt1209-1135 . ISSN 1087-0156 . PMC 2907892. PMID 20010596 .   
  13. ↑ يونغ، إس إس، كار، أ. (2011). "ديمينغ، البيانات والدراسات الرصدية" (ملف PDF) . الأهمية . 8 (3): 116-120 . doi : 10.1111/j.1740-9713.2011.00506.x .{{cite journal}}: صيانة CS1: أسماء متعددة: قائمة المؤلفين ( رابط )
  14. ↑ سميث، جي دي، شاه، إي . (2002). "التنقيب في البيانات، والتحيز، أو التشويش" . المجلة الطبية البريطانية . 325 (7378): 1437-1438 . doi : 10.1136/bmj.325.7378.1437 . PMC 1124898. PMID 12493654 .  {{cite journal}}: صيانة CS1: أسماء متعددة: قائمة المؤلفين ( رابط )
  15. ↑ كيرش، أ؛ ميتزنماخر، م ؛ بيتراكابرينا، أ؛ بوتشي، ج؛ أوبفال، إ ؛ فاندين، ف (يونيو 2012). "نهج دقيق وفعال لتحديد مجموعات العناصر المتكررة ذات الدلالة الإحصائية". مجلة ACM . 59 (3): 12:1–12:22. arXiv : 1002.1104 . doi : 10.1145/2220357.2220359 .

للمزيد من القراءة

  • ف. بريتز، ت. هوثورن، ب. ويستفال (2010)، المقارنات المتعددة باستخدام لغة البرمجة R ، دار نشر CRC
  • إس. دودويت وإم جيه فان دير لان (2008)، إجراءات الاختبار المتعددة مع تطبيق على علم الجينوم ، سبرينغر
  • فاركوميني، أ. (2008). "مراجعة لاختبار الفرضيات المتعددة الحديث، مع التركيز بشكل خاص على نسبة الاكتشاف الخاطئ". الأساليب الإحصائية في البحوث الطبية . 17 (4): 347-388 . doi : 10.1177/0962280206079046 . hdl : 11573/142139 . PMID 17698936. S2CID 12777404 .  
  • فيبسون، ب.؛ سميث، ج. ك. (2010). "لا ينبغي أن تكون قيم P للتباديل صفرًا أبدًا: حساب قيم P الدقيقة عند سحب التباديل عشوائيًا". التطبيقات الإحصائية في علم الوراثة والبيولوجيا الجزيئية . 9 : المقالة 39. arXiv : 1603.05766 . doi : 10.2202/1544-6115.1585 . PMID 21044043. S2CID 10735784 .  
  • بي إتش ويستفال وإس إس يونغ (1993)، الاختبارات المتعددة القائمة على إعادة التوزيع: أمثلة وطرق لتعديل قيمة p ، وايلي
  • ب. ويستفال، ر. توبياس، ر. وولفينجر (2011) المقارنات المتعددة والاختبارات المتعددة باستخدام SAS ، الطبعة الثانية، معهد SAS
  • معرض لأمثلة على علاقات غير معقولة تم الحصول عليها من خلال التنقيب في البيانات
  • رسم كاريكاتوري من موقع xkcd يتناول مشكلة المقارنات المتعددة، باستخدام حلوى الجيلي بينز وحب الشباب كمثال.