معدل الخطأ على مستوى العائلة

يوضح الجدول التالي النتائج المحتملة عند اختبار عدة فرضيات صفرية. لنفترض أن لدينا عددًا m من الفرضيات الصفرية، يُرمز لها بـ: H₁ ، H₂ _، ... ، Hₘ _.    باستخدام اختبار إحصائي ، نرفض الفرضية الصفرية إذا كانت نتيجة الاختبار دالة إحصائيًا. ولا نرفضها إذا كانت النتيجة غير دالة إحصائيًا. بجمع كل نوع من النتائج لجميع _{الفرضيات} الصفرية Hᵢ _،  نحصل على المتغيرات العشوائية التالية:

	الفرضية الصفرية صحيحة (H 0 )	الفرضية البديلة صحيحة (H A )	المجموع
تم إعلان أهمية الاختبار	V	S	R
تم إعلان الاختبار غير ذي دلالة إحصائية.	يو	تي	${\displaystyle mR}$
المجموع	${\displaystyle m_{0}}$	${\displaystyle m-m_{0}}$	م

• يمثل m العدد الإجمالي للفرضيات التي تم اختبارها
• ${\displaystyle m_{0}}$يمثل عدد الفرضيات الصفرية الصحيحة ، وهو معلمة غير معروفة
• ${\displaystyle m-m_{0}}$يمثل عدد الفرضيات البديلة الصحيحة
• V هو عدد النتائج الإيجابية الخاطئة (الخطأ من النوع الأول) (يسمى أيضًا "الاكتشافات الخاطئة").
• S هو عدد النتائج الإيجابية الحقيقية (وتسمى أيضًا "الاكتشافات الحقيقية").
• يمثل T عدد النتائج السلبية الخاطئة (الخطأ من النوع الثاني).
• يمثل U عدد النتائج السلبية الصحيحة
• ${\displaystyle R=V+S}$يمثل عدد الفرضيات الصفرية المرفوضة (وتسمى أيضاً "الاكتشافات"، سواء كانت صحيحة أو خاطئة).

في اختبارات الفرضيات m التي${\displaystyle m_{0}}$إذا كانت الفرضيات الصفرية صحيحة، فإن R متغير عشوائي قابل للملاحظة، و S و T و U و V متغيرات عشوائية غير قابلة للملاحظة .

• يرمز بـ${\displaystyle p_{i}}$قيمة p للاختبار${\displaystyle H_{i}}$
• يرفض${\displaystyle H_{i}}$لو${\displaystyle p_{i}\leq {\frac {\alpha }{m}}}$

• اختبار كل فرضية على مستوى${\displaystyle \alpha _{SID}=1-(1-\alpha )^{\frac {1}{m}}}$هو إجراء الاختبار المتعدد لسيداك.
• هذا الإجراء أقوى من إجراء بونفيروني، لكن الفائدة ضئيلة.
• قد تفشل هذه العملية في التحكم في معدل الخطأ العائلي عندما تكون الاختبارات مرتبطة سلبًا.

• لا تنطبق طريقة توكي إلا على المقارنات الثنائية.
• يفترض هذا استقلال الملاحظات التي يتم اختبارها، بالإضافة إلى التباين المتساوي عبر الملاحظات ( تجانس التباين ).
• تقوم هذه العملية بحساب إحصائية المدى المعياري لكل زوج :${\displaystyle {\frac {Y_{A}-Y_{B}}{SE}}}$أين${\displaystyle Y_{A}}$هو الأكبر من بين الوسيلتين اللتين تتم مقارنتهما،${\displaystyle Y_{B}}$الأصغر، و${\displaystyle SE}$يمثل الخطأ المعياري للبيانات المعنية.
• اختبار توكي هو في الأساس اختبار t للطالب ، باستثناء أنه يصحح معدل الخطأ على مستوى العائلة .

• ابدأ بترتيب قيم p (من الأدنى إلى الأعلى)${\displaystyle P_{(1)}\ldots P_{(m)}}$ولتكن الفرضيات المرتبطة بها هي ${\displaystyle H_{(1)}\ldots H_{(m)}}$
• يترك${\displaystyle k}$ليكن أصغر فهرس بحيث${\displaystyle P_{(k)}>{\frac {\alpha }{m+1-k}}}$
• رفض الفرضيات الصفرية${\displaystyle H_{(1)}\ldots H_{(k-1)}}$. لو${\displaystyle k=1}$إذن لا يتم رفض أي من الفرضيات.

يُعدّ هذا الإجراء أكثر فعالية من إجراء بونفيروني. ^{[ 8 ]} والسبب في تحكّم هذا الإجراء في معدل الخطأ الإجمالي لجميع الفرضيات m عند مستوى α، هو أنه إجراء اختبار مغلق . ولذلك، يتم اختبار كل تقاطع باستخدام اختبار بونفيروني البسيط.

يتم تنفيذ إجراء يوسف هوشبرغ التصاعدي (1988) باستخدام الخطوات التالية: ^{[ 9 ]}

• ابدأ بترتيب قيم p (من الأدنى إلى الأعلى)${\displaystyle P_{(1)}\ldots P_{(m)}}$ولتكن الفرضيات المرتبطة بها هي ${\displaystyle H_{(1)}\ldots H_{(m)}}$
• بالنسبة لـ${\displaystyle \alpha }$، يترك${\displaystyle R}$كن الأكبر${\displaystyle k}$بحيث${\displaystyle P_{(k)}\leq {\frac {\alpha }{m+1-k}}}$
• رفض الفرضيات الصفرية${\displaystyle H_{(1)}\ldots H_{(R)}}$

يُعدّ إجراء هوشبرغ أكثر فعالية من إجراء هولم. مع ذلك، فبينما يُعتبر إجراء هولم اختبارًا مغلقًا (وبالتالي، مثل بونفيروني، لا يفرض أي قيود على التوزيع المشترك لإحصائيات الاختبار)، فإن إجراء هوشبرغ يعتمد على اختبار سايمز، لذا فهو صالح فقط في حالة التبعية غير السالبة. يُشتق اختبار سايمز بافتراض استقلال الاختبارات؛ ^{[ 10 ]} وهو متحفظ بالنسبة للاختبارات التي ترتبط إيجابيًا بمعنى معين ^{[ 11 ] [ 12 ]} ، وغير متحفظ في بعض حالات التبعية السالبة. ^{[ 13 ] [ 14 ]} ومع ذلك، فقد اقتُرح أن نسخة مُعدّلة من إجراء هوشبرغ تظل صالحة في حالة التبعية السالبة العامة. ^{[ 15 ]}

وصف تشارلز دونيت (1955، 1966) طريقة بديلة لتعديل خطأ ألفا عند مقارنة مجموعات k بمجموعة تحكم واحدة. تُعرف هذه الطريقة الآن باسم اختبار دونيت، وهي أقل تحفظًا من تعديل بونفيروني.

تتحكم إجراءات بونفيروني وهولم في معدل الخطأ من النوع الأول (FWER) في ظل أي بنية تبعية لقيم الاحتمال (أو ما يعادلها من إحصائيات الاختبار الفردية). ويتحقق ذلك أساسًا من خلال مراعاة بنية التبعية "الأسوأ" (والتي تقترب من الاستقلال في معظم التطبيقات العملية). إلا أن هذا النهج يُعد متحفظًا إذا كانت التبعية موجبة بالفعل. فعلى سبيل المثال، في حالة التبعية الموجبة التامة، يوجد اختبار واحد فقط فعليًا، وبالتالي يكون معدل الخطأ من النوع الأول (FWER) غير متضخم.

يُؤدي مراعاة بنية التبعية لقيم الاحتمال (أو لإحصائيات الاختبار الفردية) إلى إجراءات أكثر فعالية. ويمكن تحقيق ذلك بتطبيق أساليب إعادة التوزيع، مثل أساليب التمهيد والتباديل. يتطلب إجراء ويستفال ويونغ (1993) شرطًا معينًا لا يتحقق دائمًا في الواقع العملي (وهو محورية المجموعة الفرعية). ^{[ 16 ]} أما إجراءات رومانو وولف (2005 أ، ب) فتستغني عن هذا الشرط، وبالتالي فهي أكثر صلاحية بشكل عام. ^{[ 17 ] [ 18 ]}

يوفر إجراء متوسط ​​القيمة الاحتمالية التوافقي (HMP) ^{[ 19 ] [ 20 ]} اختبارًا متعدد المستويات يُحسّن من قوة تصحيح بونفيروني من خلال تقييم دلالة مجموعات الفرضيات مع التحكم في معدل الخطأ العائلي ذي المعنى القوي. دلالة أي مجموعة فرعية${\textstyle {\mathcal {R}}}$التابع${\textstyle m}$يتم تقييم الاختبارات عن طريق حساب مؤشر HMP للمجموعة الفرعية،$${\displaystyle {\overset {\circ }{p}}_{\mathcal {R}}={\frac {\sum _{i\in {\mathcal {R}}}w_{i}}{\sum _{i\in {\mathcal {R}}}w_{i}/p_{i}}},}$$أين${\textstyle w_{1},\dots ,w_{m}}$هي أوزان مجموعها يساوي واحدًا (أي${\textstyle \sum _{i=1}^{m}w_{i}=1}$إجراء تقريبي يتحكم في معدل الخطأ العائلي ذي المعنى القوي عند مستوى تقريبي${\textstyle \alpha }$يرفض الفرضية الصفرية القائلة بأن أيًا من قيم p في المجموعة الفرعية لا${\textstyle {\mathcal {R}}}$تكون ذات أهمية عندما${\textstyle {\overset {\circ }{p}}_{\mathcal {R}}\leq \alpha \,w_{\mathcal {R}}}$^{[ 21 ]} (حيث${\textstyle w_{\mathcal {R}}=\sum _{i\in {\mathcal {R}}}w_{i}}$هذا التقريب معقول بالنسبة للقيم الصغيرة${\textstyle \alpha }$(مثال)${\textstyle \alpha <0.05}$) ويصبح جيدًا بشكل تعسفي مثل${\textstyle \alpha }$يقترب من الصفر. يتوفر أيضًا اختبار دقيق تقاربياً (انظر المقال الرئيسي ).