اختبار أ/ب

اختبار A/B (المعروف أيضًا باسم اختبار الدلو ، أو اختبار التشغيل المنفصل، أو اختبار التقسيم ) هو أسلوب بحثي في ​​مجال تجربة المستخدم . ^{[ 1 ]} يتكون اختبار A/B من تجربة عشوائية تتضمن عادةً متغيرين (A وB)، ^{[ 2 ] [ 3 ] [ 4 ]} مع إمكانية توسيع المفهوم ليشمل متغيرات متعددة لنفس المتغير. وهو يتضمن تطبيق اختبار الفرضيات الإحصائية ، أو " اختبار فرضيات عينتين " كما هو مستخدم في مجال الإحصاء . يُستخدم اختبار A/B لمقارنة نسخ متعددة من متغير واحد ، على سبيل المثال، عن طريق اختبار استجابة شخص ما للمتغير A مقابل المتغير B، وتحديد أي من المتغيرين أكثر فعالية. ^{[ 5 ]}

يُشبه الاختبار متعدد المتغيرات أو الاختبار متعدد الحدود اختبار A/B، ولكنه قد يختبر أكثر من نسختين في الوقت نفسه أو يستخدم المزيد من الضوابط. لا تُعدّ اختبارات A/B البسيطة صالحةً للحالات الرصدية أو شبه التجريبية أو غيرها من الحالات غير التجريبية ، وهي شائعة في بيانات المسح والبيانات غير المتصلة بالإنترنت وغيرها من الظواهر الأكثر تعقيدًا.

يُعدّ اختبار A/B اختصارًا لتجربة عشوائية مضبوطة بسيطة، حيث تتم مقارنة عدد من العينات (مثل A وB) لمتغير متجه واحد. ^{[ 1 ]} تُعتبر اختبارات A/B على نطاق واسع أبسط أشكال التجارب المضبوطة، خاصةً عندما تتضمن متغيرين فقط. ومع ذلك، بإضافة المزيد من المتغيرات إلى الاختبار، يزداد تعقيده. ^{[ 6 ]}

يوضح المثال التالي اختبار A/B بمتغير واحد:

تمتلك إحدى الشركات قاعدة بيانات عملاء تضم 2000 شخص، وتطلق حملة بريد إلكتروني تتضمن رمز خصم بهدف زيادة المبيعات عبر موقعها الإلكتروني. تُنشئ الشركة نسختين من البريد الإلكتروني، تتضمن كل منهما عبارات تحث على اتخاذ إجراء (الجزء من النص الذي يشجع العملاء على القيام بشيء ما - في حالة حملة المبيعات، الشراء) ورموزًا ترويجية مختلفة.

• ترسل الشركة إلى 1000 شخص بريدًا إلكترونيًا يتضمن دعوة لاتخاذ إجراء تنص على أن "العرض ينتهي يوم السبت! استخدم الرمز A1".
• أما بالنسبة للألف شخص المتبقين، فيتم إرسال بريد إلكتروني يتضمن دعوة لاتخاذ إجراء تنص على "العرض ينتهي قريباً! استخدم الرمز B1".
• جميع العناصر الأخرى في نص وتصميم رسائل البريد الإلكتروني متطابقة.

تقوم الشركة بعد ذلك بمراقبة أي الحملات التسويقية حققت أعلى معدل نجاح من خلال تحليل استخدام الرموز الترويجية. وقد حقق البريد الإلكتروني الذي استخدم الرمز A1 معدل استجابة بلغ 5% (حيث استخدم 50 شخصًا من أصل 1000 شخص تم إرسال البريد الإلكتروني إليهم الرمز لشراء منتج)، بينما حقق البريد الإلكتروني الذي استخدم الرمز B1 معدل استجابة بلغ 3% (حيث استخدم 30 شخصًا من المستلمين الرمز لشراء منتج). وبناءً على ذلك، قررت الشركة أن دعوة اتخاذ الإجراء الأولى في هذه الحالة أكثر فعالية، وستستخدمها في المبيعات المستقبلية. ويمكن اتباع نهج أكثر دقة يتضمن تطبيق اختبارات إحصائية لتحديد ما إذا كانت الفروقات في معدلات الاستجابة بين A1 وB1 ذات دلالة إحصائية (أي أن هذه الفروقات من المرجح أن تكون حقيقية وقابلة للتكرار وليست نتيجة للصدفة). ^{[ 7 ]}

في المثال السابق، كان الهدف من الاختبار تحديد الاستراتيجية الأكثر فعالية لتشجيع العملاء على الشراء. أما لو كان الهدف تحديد أي بريد إلكتروني سيحقق أعلى نسبة نقر (نسبة الأشخاص الذين ينقرون فعلياً على الرابط بعد استلام البريد الإلكتروني)، لكانت النتائج مختلفة.

على سبيل المثال، على الرغم من أن عددًا أكبر من العملاء الذين تلقوا الرمز B1 قد دخلوا إلى الموقع الإلكتروني، إلا أن عدم تحديد تاريخ انتهاء العرض الترويجي في رسالة الدعوة إلى اتخاذ إجراء قد يجعل الكثيرين غير مُلِمّين بضرورة الشراء الفوري. وبالتالي، لو كان الهدف من الاختبار هو تحديد أي بريد إلكتروني سيجلب المزيد من الزيارات إلى الموقع، لكان البريد الإلكتروني الذي يحتوي على الرمز B1 أكثر نجاحًا. يجب أن يكون لاختبار A/B نتيجة محددة وقابلة للقياس، مثل المبيعات المُحَقَّاة، أو نسبة النقر إلى الظهور، أو نسبة التسجيل. ^{[ 8 ]}

تُعدّ اختبارات الفرضيات لعينتين مناسبة لمقارنة عينتين مقسمتين إلى حالتي تحكم في التجربة. وتُناسب اختبارات Z مقارنة المتوسطات في ظل شروط صارمة تتعلق بالتوزيع الطبيعي وانحراف معياري معروف. أما اختبارات t للطالب فهي مناسبة لمقارنة المتوسطات في ظل شروط أقل صرامة، حيث يُفترض فيها افتراضات أقل. ويُعدّ اختبار t لـ Welch الأقل افتراضًا، ولذلك فهو اختبار الفرضيات الأكثر شيوعًا لعينتين عند الرغبة في تحسين متوسط ​​مقياس ما. وبينما يُعدّ متوسط ​​المتغير المراد تحسينه الخيار الأكثر شيوعًا للتقدير ، إلا أن هناك خيارات أخرى تُستخدم بانتظام.

يمكن استخدام اختبار فيشر الدقيق لمقارنة توزيعين ثنائيين ، مثل معدل النقر .

تُطبّق اختبارات A/B في أغلب الأحيان نفس المتغير (مثل عنصر واجهة المستخدم) باحتمالية متساوية على جميع المستخدمين. مع ذلك، في بعض الحالات، قد تكون الاستجابات للمتغيرات متباينة. فبينما قد يحقق المتغير A معدل استجابة أعلى إجمالاً، قد يحقق المتغير B معدل استجابة أعلى ضمن شريحة محددة من قاعدة العملاء. ^{[ 10 ]}

على سبيل المثال، في المثال أعلاه، كان من الممكن أن يكون توزيع معدلات الاستجابة حسب الجنس كما يلي:

في هذه الحالة، بينما اجتذب المتغير أ معدل استجابة أعلى بشكل عام، فإن المتغير ب قد أثار في الواقع معدل استجابة أعلى لدى الرجال.

نتيجةً لذلك، قد تختار الشركة استراتيجيةً مجزأةً بناءً على اختبار A/B، حيث تُرسل النسخة B للرجال والنسخة A للنساء في المستقبل. في هذا المثال، ستؤدي الاستراتيجية المجزأة إلى زيادة بنسبة 30% في معدلات الاستجابة المتوقعة.${\textstyle 5\%={\frac {40+10}{500+500}}}$ ل${\textstyle 6.5\%={\frac {40+25}{500+500}}}$.

إذا كانت نتائج اختبار A/B متوقعة، فينبغي تصميم الاختبار بشكل صحيح منذ البداية بحيث يتوزع بالتساوي على سمات العملاء الرئيسية، مثل الجنس. يجب أن يتضمن الاختبار عينة تمثيلية من الرجال مقابل النساء، وأن يتم توزيع الرجال والنساء عشوائيًا على كل "متغير" (المتغير A مقابل المتغير B). قد يؤدي عدم القيام بذلك إلى تحيز التجربة واستنتاجات غير دقيقة. ^{[ 11 ]}

يمكن تعميم نهج التجزئة والاستهداف هذا بشكل أكبر ليشمل سمات متعددة للعملاء بدلاً من سمة واحدة فقط - على سبيل المثال، عمر العملاء وجنسهم - لتحديد أنماط أكثر دقة قد تكون موجودة في نتائج الاختبار.

يصعب تحديد تاريخ استخدام اختبار A/B بدقة. أُجريت أول تجربة عشوائية مزدوجة التعمية لتقييم فعالية دواء مُعالَج بالطب التجانسي عام 1835. ^{[ 16 ]} بدأت التجارب على الحملات الإعلانية ، والتي تُقارن باختبار A/B الحديث، في أوائل القرن العشرين. ^{[ 17 ]} استخدم رائد الإعلان كلود هوبكنز قسائم ترويجية لاختبار فعالية حملاته. مع ذلك، لم تتضمن هذه العملية، التي وصفها هوبكنز في كتابه " الإعلان العلمي" عام 1923 ، مفاهيم مثل الدلالة الإحصائية والفرضية الصفرية ، المستخدمة في اختبار الفرضيات الإحصائية . ^{[ 18 ]} طُوّرت الأساليب الإحصائية الحديثة لتقييم دلالة بيانات العينة بشكل منفصل في الفترة نفسها. أُجري هذا العمل عام 1908 على يد ويليام سيلي جوسيت عندما عدّل اختبار Z ليُنشئ اختبار t للطالب . ^{[ 19 ] [ 20 ]}

مع نمو الإنترنت، ظهرت طرق جديدة لأخذ عينات من السكان. أجرى مهندسو جوجل أول اختبار A/B في عام 2000 لتحديد العدد الأمثل للنتائج التي يجب عرضها في نتائج محرك البحث. ^{[ 5 ]} لم ينجح الاختبار الأول بسبب أعطال ناتجة عن بطء التحميل. لاحقًا، تطورت أبحاث اختبار A/B، لكن الأسس والمبادئ الأساسية ظلت كما هي عمومًا، وفي عام 2011، أجرت جوجل أكثر من 7000 اختبار A/B مختلف. ^{[ 5 ]}

في عام ٢٠١٢، أجرى موظف في مايكروسوفت يعمل على محرك البحث بينغ تجربة لاختبار طرق مختلفة لعرض عناوين الإعلانات. وفي غضون ساعات، حقق الشكل البديل زيادة في الإيرادات بنسبة ١٢٪ دون أي تأثير على مقاييس تجربة المستخدم. ^{[ ٤ ]} واليوم، تُجري شركات برمجيات كبرى مثل مايكروسوفت وجوجل أكثر من ١٠٠٠٠ اختبار A/B سنويًا. ^{[ ٤ ]}

يزعم البعض أن اختبار A/B يمثل تحولاً في فلسفة واستراتيجية الأعمال في بعض المجالات المتخصصة، على الرغم من أن هذا النهج مطابق لتصميم بين المجموعات ، وهو تصميم شائع الاستخدام في العديد من التقاليد البحثية. ^{[ 21 ] [ 22 ] [ 23 ]} ويُسهم اختبار A/B، كفلسفة لتطوير الويب، في مواءمة هذا المجال مع توجه أوسع نحو الممارسة القائمة على الأدلة .

تعتمد العديد من الشركات حاليًا على منهجية "التجربة المصممة" في اتخاذ قراراتها التسويقية، انطلاقًا من توقعها أن تُسهم نتائج العينات ذات الصلة في تحسين معدلات التحويل الإيجابية. ^{[ 24 ]} وقد باتت هذه الممارسة شائعة بشكل متزايد مع تطور الأدوات والخبرات في هذا المجال. ^{[ 25 ]} ونتيجةً لذلك، تستخدم فرق التسويق بشكل متزايد اختبار A/B لتوجيه قراراتها، حيث تُطابق دقة الاختبار مع الفرضيات المقاسة، وتقيس تأثيره على النتائج، مثل معدلات التحويل والإيرادات ومعدلات التحويل اللاحقة. ^{[ 26 ]}

• التحكم التكيفي
• تجربة تصميم بين المجموعات
• نمذجة الاختيار
• لص متعدد الأذرع
• اختبار متعدد المتغيرات
• تجربة عشوائية مضبوطة
• الرقابة العلمية
• الهيمنة العشوائية
• إحصائية الاختبار
• اختبار Z لنسبتين