صلاحية البناء

تتعلق صلاحية البناء بمدى تمثيل أو انعكاس مجموعة من المؤشرات لمفهوم غير قابل للقياس المباشر . [ 1 ] [ 2 ] [ 3 ] وتُعرف صلاحية البناء بأنها تراكم الأدلة لدعم تفسير ما يعكسه المقياس. [ 1 ] [ 4 ] [ 5 ] [ 6 ] وتُعرّف نظرية الصلاحية الحديثة صلاحية البناء بأنها الاهتمام الرئيسي لأبحاث الصلاحية، وتشمل جميع أنواع أدلة الصلاحية الأخرى [ 7 ] [ 8 ] مثل صلاحية المحتوى وصلاحية المعيار . [ 9 ] [ 10 ]

تُعنى صلاحية البناء بمدى ملاءمة الاستنتاجات المستخلصة من الملاحظات أو القياسات (غالباً نتائج الاختبارات)، وتحديداً ما إذا كان من الممكن اعتبار الاختبار انعكاساً معقولاً للبنية المقصودة . والبنى هي مفاهيم مجردة يبتكرها الباحثون عمداً لتصور المتغير الكامن ، المرتبط بنتائج مقياس معين (مع أنه غير قابل للملاحظة المباشرة). وتدرس صلاحية البناء السؤال التالي: هل يتصرف المقياس كما تنص النظرية على أنه ينبغي أن يتصرف مقياس تلك البنية؟

تُعدّ صلاحية البناء أساسيةً لصلاحية الاختبار الإجمالية المُدركة. وتكتسب صلاحية البناء أهميةً خاصةً في العلوم الاجتماعية وعلم النفس والقياس النفسي ودراسات اللغة.

دعا علماء النفس، مثل صموئيل ميسيك (1998)، إلى تبني رؤية موحدة لصحة البناء، باعتبارها "حكمًا تقييميًا متكاملًا لمدى دعم الأدلة التجريبية والأسس النظرية لمدى كفاية وملاءمة الاستنتاجات والإجراءات المبنية على نتائج الاختبارات". [ 11 ] وبينما شاعت آراء ميسيك في مجال القياس التربوي ، ونشأت من مسيرة مهنية تمحورت حول شرح الصلاحية في سياق صناعة الاختبارات، فقد قدم بورسبوم وآخرون (2004) تعريفًا أكثر انسجامًا مع البحوث النفسية الأساسية، مدعومًا بدراسات تجريبية قائمة على البيانات، والتي تُركز على الاستدلال الإحصائي والسببي . [ 12 ]

يكمن مفتاح صحة البناء في الأفكار النظرية الكامنة وراء السمة قيد الدراسة، أي المفاهيم التي تنظم كيفية النظر إلى جوانب الشخصية والذكاء ، وما إلى ذلك. [ 13 ] ويذكر بول ميهل أن "أفضل بناء هو الذي يمكننا من خلاله بناء أكبر عدد من الاستدلالات، وبشكل مباشر". [ 1 ]

يمكن أن يؤثر تنقية المقياس، أي "عملية حذف البنود من المقاييس متعددة البنود" (ويلاند وآخرون، 2017)، على صحة البناء. ويؤكد إطار عمل قدمه ويلاند وآخرون (2017) على ضرورة مراعاة المعايير الإحصائية والتقييمية عند اتخاذ قرارات تنقية المقياس. [ 14 ]

تاريخ

طوال أربعينيات القرن العشرين، سعى العلماء جاهدين لإيجاد طرق للتحقق من صحة التجارب قبل نشرها. نتج عن ذلك وفرة من معايير الصلاحية المختلفة ( الصلاحية الجوهرية ، والصلاحية الظاهرية ، والصلاحية المنطقية ، والصلاحية التجريبية ، وغيرها). وقد صعّب هذا الأمر تحديد أيها متطابق فعلاً وأيها غير مفيد على الإطلاق. وحتى منتصف خمسينيات القرن العشرين، كانت هناك طرق قليلة مقبولة عالميًا للتحقق من صحة التجارب النفسية. والسبب الرئيسي في ذلك هو عدم وجود معايير محددة يجب فحصها قبل النشر. بين عامي 1950 و1954، اجتمعت لجنة الاختبارات النفسية التابعة للجمعية الأمريكية لعلم النفس وناقشت القضايا المتعلقة بالتحقق من صحة التجارب النفسية. [ 1 ]

في ذلك الوقت تقريبًا، صاغ بول ميهل ولي كرونباخ مصطلح "صلاحية البناء" لأول مرة في مقالتهما الرائدة "صلاحية البناء في الاختبارات النفسية". وأشارا إلى أن فكرة صلاحية البناء لم تكن جديدة آنذاك، بل كانت مزيجًا من أنواع مختلفة من الصلاحية التي تتعامل مع المفاهيم النظرية. واقترحا الخطوات الثلاث التالية لتقييم صلاحية البناء:

  1. توضيح مجموعة من المفاهيم النظرية وعلاقاتها المتبادلة
  2. تطوير طرق لقياس البنى الافتراضية التي تقترحها النظرية
  3. اختبار العلاقات المفترضة تجريبياً [ 1 ]

لاحظ العديد من علماء النفس أن أحد الأدوار المهمة للتحقق من صحة البناء في القياس النفسي هو تركيزه على النظرية أكثر من التحقق من صحتها. وقد صُمم هذا التركيز لتلبية شرط أساسي يتمثل في أن يتضمن التحقق من الصحة دليلاً على أن الاختبار يقيس البناء النظري الذي يُفترض أن يقيسه. يتكون التحقق من صحة البناء من ثلاثة جوانب أو مكونات: المكون الموضوعي، والمكون البنيوي، والمكون الخارجي. [ 15 ] وترتبط هذه الجوانب ارتباطًا وثيقًا بثلاث مراحل في عملية بناء الاختبار: تكوين مجموعة البنود، وتحليل واختيار البنية الداخلية لمجموعة البنود، وربط درجات الاختبار بالمعايير والمتغيرات الأخرى.

في سبعينيات القرن العشرين، احتدم النقاش بين المنظرين الذين رأوا في صلاحية البناء النموذجَ المهيمن، ساعين نحو نظرية موحدة للصلاحية، وبين أولئك الذين استمروا في العمل ضمن أطر صلاحية متعددة. [ 16 ] ورأى العديد من علماء النفس وباحثي التربية أن "صلاحية التنبؤ، والصلاحية التزامنية، وصلاحية المحتوى هي في جوهرها صلاحيات مؤقتة ، وأن صلاحية البناء هي جوهر الصلاحية من وجهة نظر علمية". [ 15 ] وفي نسخة عام 1974 من معايير الاختبارات التربوية والنفسية، تم الاعتراف بالترابط بين الجوانب الثلاثة المختلفة للصلاحية: "يمكن مناقشة هذه الجوانب من الصلاحية بشكل مستقل، ولكن فقط من باب التسهيل. فهي مترابطة إجرائيًا ومنطقيًا؛ ونادرًا ما يكون أحدها وحده مهمًا في موقف معين".

في عام ١٩٨٩، قدّم ميسيك تصوّراً جديداً لصحة البناء كمفهوم موحّد ومتعدد الأوجه. [ ١٧ ] في إطار هذا المفهوم، ترتبط جميع أشكال الصلاحية بجودة البناء وتعتمد عليها. وأشار إلى أن النظرية الموحدة لم تكن فكرته الخاصة، بل كانت ثمرة نقاشات وحوارات داخل المجتمع العلمي على مدى العقود السابقة. تتضمن نظرية ميسيك الموحدة لصحة البناء ستة جوانب: [ ١٨ ]

  1. التبعات – ما هي المخاطر المحتملة في حال كانت النتائج غير صالحة أو تم تفسيرها بشكل غير مناسب؟ هل لا يزال الاختبار ذا جدوى بالنظر إلى هذه المخاطر؟
  2. المحتوى – هل يبدو أن بنود الاختبار تقيس المفهوم محل الاهتمام؟
  3. الموضوعي – هل الأساس النظري الذي يقوم عليه مفهوم الاهتمام سليم؟
  4. الهيكلي – هل ترتبط العلاقات المتبادلة بين الأبعاد التي يقيسها الاختبار بالبنية محل الاهتمام ودرجات الاختبار؟
  5. خارجي – هل يتمتع الاختبار بخصائص التقارب والتمييز والتنبؤ؟
  6. قابلية التعميم - هل يمكن تعميم الاختبار عبر مجموعات وإعدادات ومهام مختلفة؟

لا يزال النظر الصحيح إلى صلاحية البناء موضوع نقاش بين منظري الصلاحية. ويكمن جوهر الاختلاف في اختلاف معرفي بين المنظرين الوضعيين وما بعد الوضعيين .

تقييم

يتطلب تقييم صحة البناء فحص ارتباطات المقياس بالمتغيرات المعروفة بارتباطها بالبناء (التي يُفترض أن الأداة قيد التقييم تقيسها، أو التي توجد أسس نظرية لتوقع ارتباطها بها). يتوافق هذا مع مصفوفة السمات المتعددة والأساليب المتعددة (MTMM) المستخدمة في فحص صحة البناء، والموصوفة في ورقة كامبل وفيسك الرائدة (1959). [ 19 ] توجد طرق أخرى لتقييم صحة البناء إلى جانب مصفوفة السمات المتعددة والأساليب المتعددة، مثل تحليل العوامل ، ونمذجة المعادلات الهيكلية (SEM)، وغيرها من التحليلات الإحصائية. [ 20 ] [ 21 ] لا تُثبت دراسة واحدة صحة البناء، بل هي عملية مستمرة من التقييم وإعادة التقييم والتحسين والتطوير. تُسهم الارتباطات التي تتوافق مع النمط المتوقع في إثبات صحة البناء. تُعد صحة البناء حكمًا قائمًا على تراكم الارتباطات من دراسات عديدة تستخدم الأداة قيد التقييم. [ 22 ]

يسعى معظم الباحثين إلى اختبار صحة البناء قبل إجراء البحث الرئيسي. ولتحقيق ذلك، يمكن الاستعانة بالدراسات التجريبية . تُعدّ الدراسات التجريبية دراسات تمهيدية صغيرة النطاق تهدف إلى اختبار جدوى اختبار شامل. تُحدد هذه الدراسات التجريبية مدى قوة البحث وتُمكّن الباحثين من إجراء أي تعديلات ضرورية. ومن الطرق الأخرى تقنية المجموعات المعروفة، والتي تتضمن تطبيق أداة القياس على مجموعات يُتوقع اختلافها نظرًا لخصائص معروفة. يتضمن اختبار العلاقة المفترضة تحليلًا منطقيًا قائمًا على النظرية أو الأبحاث السابقة. [ 6 ] تُعدّ دراسات التدخل طريقة أخرى لتقييم صحة البناء. يمكن لدراسات التدخل، التي يتم فيها اختبار مجموعة ذات درجات منخفضة في البناء، ثم تعليمها البناء، ثم إعادة قياسها، أن تُظهر صحة بناء الاختبار. إذا وُجد فرق معنوي بين الاختبار القبلي والبعدي، والذي يتم تحليله باستخدام الاختبارات الإحصائية، فقد يُشير ذلك إلى صحة بناء جيدة. [ 23 ]

الصلاحية التقاربية والتمييزية

يُعدّ كلٌّ من الصدق التقاربي والصدق التمييزي نوعين فرعيين من أنواع الصدق التي تُشكّل صدق البناء. يشير الصدق التقاربي إلى مدى ارتباط مقياسين لبنيتين يفترض نظريًا أنهما مرتبطتان، في الواقع. في المقابل، يختبر الصدق التمييزي ما إذا كانت المفاهيم أو القياسات التي يُفترض أنها غير مرتبطة، غير مرتبطة في الواقع. [ 19 ] لنأخذ، على سبيل المثال، مفهوم السعادة العامة. إذا كان مقياس السعادة العامة يتمتع بصدق تقاربي، فإنّ البنى المشابهة للسعادة (الرضا، والقناعة، والبهجة، إلخ) يجب أن ترتبط إيجابيًا بهذا المقياس. أما إذا كان هذا المقياس يتمتع بصدق تمييزي، فإنّ البنى التي لا يُفترض أن ترتبط إيجابيًا بالسعادة العامة (الحزن، والاكتئاب، واليأس، إلخ) يجب ألا ترتبط بهذا المقياس. قد يمتلك المقياس أحد نوعي صدق البناء دون الآخر. باستخدام مثال السعادة العامة، يمكن للباحث إنشاء استبيان يُظهر ارتباطًا إيجابيًا قويًا بين السعادة العامة والرضا، ولكن إذا وُجد أيضًا ارتباط إيجابي كبير بين السعادة والاكتئاب، فإن صحة بناء المقياس تصبح موضع شك. يتمتع الاختبار بصحة تقارب، ولكنه يفتقر إلى صحة التمييز.

الشبكة الاسمية

اقترح لي كرونباخ وبول ميهل (1955) [ 1 ] أن تطوير شبكة مفاهيمية أمرٌ أساسي لقياس صحة بناء الاختبار. تُعرّف الشبكة المفاهيمية مفهومًا ما من خلال توضيح علاقته بمفاهيم وسلوكيات أخرى. وهي تمثيل للمفاهيم (البنى) محل الاهتمام في الدراسة، ومظاهرها القابلة للملاحظة، والعلاقة المتبادلة فيما بينها. وتدرس ما إذا كانت العلاقات بين البنى المتشابهة تُؤخذ في الاعتبار مع العلاقات بين المقاييس المرصودة لهذه البنى. ومن خلال الملاحظة الدقيقة لعلاقات البنى ببعضها البعض، يمكن توليد مفاهيم جديدة. على سبيل المثال، يُعتبر الذكاء والذاكرة العاملة مفهومين مترابطين ترابطًا وثيقًا. ومن خلال ملاحظة مكوناتهما الأساسية، طوّر علماء النفس مفاهيم نظرية جديدة مثل: الانتباه المُتحكّم به [ 24 ] والتحميل قصير المدى [ 25 ] . كما يُمكن أن يُسهم إنشاء شبكة مفاهيمية في جعل ملاحظة وقياس المفاهيم الموجودة أكثر كفاءة من خلال تحديد الأخطاء. [ 1 ] وجد الباحثون أن دراسة النتوءات على جمجمة الإنسان ( علم فراسة الدماغ ) لا تُعد مؤشرًا على الذكاء، بل حجم الدماغ هو المؤشر. وبإزالة نظرية فراسة الدماغ من الشبكة المعيارية للذكاء وإضافة نظرية تطور كتلة الدماغ، تصبح مفاهيم الذكاء أكثر فعالية وقوة. ويؤدي ترابط هذه المفاهيم وسماتها الملحوظة إلى إنشاء "شبكة" تدعم مفهومها النظري. على سبيل المثال، في الشبكة المعيارية للتحصيل الدراسي، نتوقع أن ترتبط السمات الملحوظة للتحصيل الدراسي (مثل المعدل التراكمي، ودرجات اختبارات SAT وACT) بالسمات الملحوظة للاجتهاد (عدد ساعات الدراسة، والانتباه في الصف، ودقة الملاحظات). إذا لم يحدث ذلك، فهناك مشكلة في القياس ( للتحصيل الدراسي أو الاجتهاد)، أو في نظرية التحصيل المفترضة. أما إذا كانت هذه السمات مؤشرات لبعضها البعض، فإن الشبكة المعيارية، وبالتالي النظرية المبنية، للتحصيل الدراسي تتعزز. على الرغم من أن الشبكة القانونية اقترحت نظرية حول كيفية تعزيز البنى، إلا أنها لا تخبرنا كيف يمكننا تقييم صحة البنية في دراسة ما.

مصفوفة السمات المتعددة والأساليب المتعددة

مصفوفة السمات المتعددة والأساليب المتعددة (MTMM) هي منهجية لدراسة صحة البناء، طورها كامبل وفيسك (1959). [ 19 ] يدرس هذا النموذج التقارب (أي وجود أدلة على أن طرق القياس المختلفة لبنية ما تعطي نتائج متشابهة) والتمييز (أي القدرة على تمييز هذه البنية عن البنى الأخرى ذات الصلة). ويقيس ست سمات: تقييم صحة التقارب، وتقييم صحة التمييز (التباعد)، ووحدات السمة-الأسلوب، والسمات المتعددة والأساليب المتعددة، والمنهجيات المختلفة فعليًا، وخصائص السمة. يتيح هذا التصميم للباحثين اختبار: "التقارب بين مقاييس مختلفة... لنفس 'الشيء'... والتباعد بين مقاييس... لأشياء ذات صلة ولكنها متميزة من الناحية المفاهيمية". [ 2 ] [ 26 ]

تهديدات لصحة البناء

قد يكون التحقق الظاهري من صحة البناء مضللاً بسبب مجموعة من المشاكل في صياغة الفرضيات والتصميم التجريبي.

  • التخمين المسبق : إذا كان المشارك على دراية بالنتيجة النهائية المرجوة، أو يخمنها، فقد تتغير تصرفاته. [ 27 ] ومن الأمثلة على ذلك تأثير هاوثورن : ففي دراسة أجريت عام 1925 حول بيئة العمل الصناعية في مصنع هاوثورن ووركس خارج شيكاغو، لاحظ الباحثون أن خفض مستويات الإضاءة المحيطة أو زيادتها يحسن إنتاجية العمال. وقد توصلوا في النهاية إلى أساس هذه النتيجة التي تبدو متناقضة: فالعمال الذين كانوا على دراية بأنهم مراقبون كانوا يعملون بجد أكبر بغض النظر عن أي تغيير في بيئة العمل.
  • التحيز في تصميم التجارب (سواء كان مقصودًا أم غير مقصود). يُقدّم ستيفن جاي غولد مثالًا على ذلك في كتابه " سوء قياس الإنسان " الصادر عام ١٩٨١. [ ٢٨ ] من بين الأسئلة التي استُخدمت في فترة الحرب العالمية  الأولى ضمن مجموعة أسئلة قياس الذكاء، كان السؤال: "في أي مدينة يلعب فريق دودجرز؟" (كان مقرهم آنذاك في بروكلين). أجاب المهاجرون الجدد إلى الولايات المتحدة من أوروبا الشرقية، والذين لم يكونوا على دراية برياضة البيسبول، إجابة خاطئة، واستُخدم ذلك للاستدلال على أن الأوروبيين الشرقيين أقل ذكاءً. لم يكن السؤال يقيس الذكاء، بل كان يقيس فقط مدة إقامة الشخص في الولايات المتحدة ومدى تعرّفه على هذه الرياضة الشعبية.
  • قد تُنقل توقعات الباحث إلى المشاركين دون قصدٍ وبشكل غير لفظي، مما يُحقق التأثير المطلوب. وللتحكم في هذا الاحتمال، ينبغي استخدام تصميمات تجريبية مزدوجة التعمية كلما أمكن ذلك. أي أن يكون مُقيِّم مشاركٍ مُعين غير مُدركٍ للتدخل الذي تم إجراؤه عليه، أو أن يكون مُستقلاً عن الباحث.
  • تحديد النتائج المتوقعة بشكل ضيق للغاية . [ 29 ] على سبيل المثال، استخدام الرضا الوظيفي فقط لقياس السعادة سيستبعد معلومات ذات صلة من خارج مكان العمل.
  • المتغيرات المربكة (المتغيرات المصاحبة): قد يكون السبب الجذري للتأثيرات الملحوظة ناتجًا عن متغيرات لم يتم أخذها في الاعتبار أو قياسها. [ 30 ]

يقدم تروكيم استكشافًا معمقًا للتهديدات التي تواجه صحة البناء. [ 31 ]

انظر أيضاً

مراجع

  1. 1 2 3 4 5 6 7 كرونباخ، إل جيه؛ ميهل، بي إي (1955). "صلاحية البناء في الاختبارات النفسية" . النشرة النفسية . 52 (4): 281-302 . doi : 10.1037/h0040957 . hdl : 11299/184279 . PMID 13245896. S2CID 5312179 .  
  2. 1 2 كوك تي دي؛ كامبل دي تي (1979). شبه التجريب . بوسطن: هوتون ميفلين.
  3. ^ سيوبيرج، ديك؛ بيرغرسين، جي آر (2022). "بناء الصلاحية في هندسة البرمجيات" . معاملات IEEE في هندسة البرمجيات . 49 (3): 1374–1396 . دوى : 10.1109/TSE.2022.3176725 .
  4. كيلي، ترومان لي (1927). تفسير القياسات التعليمية . نيويورك: وورلد بوك.
  5. براون، جيه دي (1996). الاختبار في برامج اللغة . أبر سادل ريفر، نيوجيرسي: برنتيس هول ريجنتس.
  6. 1 2 بوليت دي إف، بيك سي تي (2012). بحوث التمريض: توليد وتقييم الأدلة لممارسة التمريض، الطبعة التاسعة. فيلادلفيا، الولايات المتحدة الأمريكية: وولترز كلوير هيلث، ليبينكوت ويليامز وويلكنز
  7. ميسيك، س. (1995). "صحة التقييم النفسي: التحقق من صحة الاستدلالات المستخلصة من استجابات الأفراد وأدائهم كبحث علمي في معنى الدرجات". عالم النفس الأمريكي . 50 (9): 741-749 . doi : 10.1037/0003-066x.50.9.741 .
  8. شوت، سي كي دبليو؛ مايس، إم؛ كلويدتس، آر؛ دي دونكر، دي؛ كوسينز، بي. (1997). "الصدق البنائي لمقياس بيك للاكتئاب لدى مجموعة من مرضى الاكتئاب". مجلة الاضطرابات العاطفية . 46 (2): 115-125 . doi : 10.1016/s0165-0327(97)00094-3 . PMID 9479615 . 
  9. غيون، ر.م. (1980). "حول المذاهب الثلاثية للصحة". علم النفس المهني . 11 (3): 385-398 . doi : 10.1037/0735-7028.11.3.385 .
  10. براون، جيه دي (1996). الاختبار في برامج اللغة . أبر سادل ريفر، نيوجيرسي: برنتيس هول ريجنتس.
  11. ميسيك، صموئيل (1998). "صلاحية الاختبار: مسألة ذات أهمية". بحوث المؤشرات الاجتماعية . 45 ( 1-3 ): 35-44 . doi : 10.1023/a:1006964925094 . S2CID 142684085 . 
  12. ^ بورسبوم، د.، ميلينبيرج، جي جي، وفان هيردن، ج. (2004). مفهوم الصلاحية. المراجعة النفسية، 111(4)، 1061-1071. https://doi.org/10.1037/0033-295X.111.4.1061
  13. بينينجتون، دونالد (2003). الشخصية الأساسية . أرنولد. ISBN 978-0-340-76118-2.
  14. ويلاند، أ.، دوراش، س. ف.، كيمبرو، ج.، وتريبلماير، هـ. (2017)، المعايير الإحصائية والتقييمية لتنقية الموازين، إدارة سلسلة التوريد، المجلد 22، العدد 4، https://doi.org/10.1108/SCM-07-2016-0230
  15. 1 2 لوفينجر، ج. (1957). "الاختبارات الموضوعية كأدوات للنظرية النفسية: ملحق دراسة 9". التقارير النفسية . 3 (3): 635-694 . doi : 10.2466/pr0.1957.3.3.635 . S2CID 145640521 . 
  16. كين، إم تي (2006). "التحقق". القياس التربوي . 4 : 17-64 .
  17. ميسيك، س. (1989). "الصلاحية". في ر. ل. لين (محرر). القياس التربوي ( الطبعة الثالثة). نيويورك: المجلس الأمريكي للتعليم/ماكميلان. ص 13-103 .  
  18. ميسيك، س. (1995). "معايير الصلاحية وصلاحية المعايير في تقييم الأداء". القياس التربوي: قضايا وممارسات . 14 (4): 5-8 . doi : 10.1111/j.1745-3992.1995.tb00881.x .
  19. 1 2 3 كامبل، د. ت. (1959). "التحقق التقاربي والتمييزي باستخدام مصفوفة السمات المتعددة والأساليب المتعددة". النشرة النفسية . 56 (2): 81-105 . doi : 10.1037/h0046016 . PMID 13634291 . 
  20. هاموند، ك. ر.، وهام، ر. م.، وغراسيا، ج. (1986). التعميم على مختلف الظروف من خلال الجمع بين مصفوفة السمات المتعددة والأساليب المتعددة والتصميم التمثيلي للتجارب (رقم CRJP-255A). جامعة كولورادو في بولدر، مركز أبحاث الحكم والسياسة.
  21. ويستن درو؛ روزنتال روبرت (2003). "قياس صحة البناء: مقياسان بسيطان" . مجلة الشخصية وعلم النفس الاجتماعي . 84 (3): 608-618 . doi : 10.1037/0022-3514.84.3.608 . PMID 12635920 . 
  22. بيتر، جيه بي (1981). صلاحية البناء: مراجعة للقضايا الأساسية وممارسات التسويق. مجلة أبحاث التسويق، 133-145.
  23. ديميتروف دي إم؛ رومريل جونيور بي دي (2003). "تصاميم الاختبار القبلي والبعدي وقياس التغيير". العمل: مجلة للوقاية والتقييم وإعادة التأهيل . 20 (2): 159-165 . PMID 12671209 . 
  24. إنجل، آر دبليو، وكين، إم جيه، وتوهولسكي، إس دبليو (1999). الفروق الفردية في سعة الذاكرة العاملة وما تخبرنا به عن الانتباه المتحكم فيه، والذكاء السائل العام، ووظائف قشرة الفص الجبهي. في: أ. مياكي، وب. شاه (محرران)، نماذج الذاكرة العاملة (ص 102-134). كامبريدج: مطبعة جامعة كامبريدج.
  25. أكرمان، ب. ل.؛ باير، م. إ.؛ بويل، م. أ. (2002). "الفروق الفردية في الذاكرة العاملة ضمن شبكة نظرية للقدرات المعرفية والإدراكية السريعة". مجلة علم النفس التجريبي: عام . 131 (4): 567-589 . doi : 10.1037/0096-3445.131.4.567 . PMID 12500864 . 
  26. إيدجنجتون، إي إس (1974). "جدول جديد للإجراءات الإحصائية المستخدمة في مجلات الجمعية الأمريكية لعلم النفس". عالم النفس الأمريكي . 29 : 61. doi : 10.1037/h0035846 .
  27. مككوسكي، جيه سي، وريتشموند، في بي، ومككوسكي، إل إل (2006). مقدمة في التواصل داخل الفصل الدراسي: دور التواصل في التدريس والتدريب. بوسطن: ألين وبيكون.
  28. غولد، إس جيه (1996). سوء قياس الإنسان. الطبعة الثانية. نيويورك: دبليو دبليو نورتون وشركاه.
  29. ماكنزي، إس. بي. (2003). "مخاطر ضعف التصور المفاهيمي للبنية". مجلة أكاديمية علوم التسويق . 31 (3): 323-326 . CiteSeerX 10.1.1.417.7311 . doi : 10.1177/0092070303031003011 . S2CID 5930358 .  
  30. وايت د.؛ هولتكوست ر.أ. (1965). "بناء خطط التشويش للتصاميم العاملية المختلطة" . حوليات الإحصاء الرياضي . 36 (4): 1256-1271 . doi : 10.1214/aoms/1177699997 .
  31. التهديدات لصحة البناء ، تروكيم، ويليام م. قاعدة معارف أساليب البحث، الطبعة الثانية.