متغيرات عشوائية مستقلة ومتطابقة التوزيع

📅 آخر تحديث: ٣ أغسطس ٢٠٢٦
✍️ نُشر في: ٣ أغسطس ٢٠٢٦
📷 يحتوي على 27 صور
الموسوعة الحرة
رسم بياني يوضح التوزيع المنتظم. نقاط الرسم البياني متناثرة عشوائياً، بدون نمط أو تجمعات.
رسم بياني يوضح التوزيع المنتظم

في نظرية الاحتمالات والإحصاء ، تُوصف مجموعة من المتغيرات العشوائية بأنها مستقلة ومتطابقة التوزيع ( iid أو iid أو IID ) إذا كان لكل متغير عشوائي نفس التوزيع الاحتمالي للمتغيرات الأخرى، وكانت جميعها مستقلة عن بعضها البعض . [ 1 ] وقد عُرّف مفهوم IID لأول مرة في الإحصاء ، ويُستخدم في العديد من المجالات، مثل استخراج البيانات ومعالجة الإشارات .

مقدمة

تتعامل الإحصاءات عادةً مع العينات العشوائية. يمكن اعتبار العينة العشوائية مجموعة من العناصر التي يتم اختيارها عشوائياً. وبشكل أكثر دقة، هي "سلسلة من نقاط البيانات العشوائية المستقلة والمتطابقة التوزيع ".

بمعنى آخر، مصطلحا " العينة العشوائية " و "التوزيع المستقل والمتطابق التوزيع " مترادفان. في الإحصاء، يُستخدم مصطلح " العينة العشوائية " عادةً، بينما في الاحتمالات، يُستخدم مصطلح " التوزيع المستقل والمتطابق التوزيع " بشكل أكثر شيوعاً.

  • التوزيع المتطابق يعني عدم وجود اتجاهات عامة - فالتوزيع لا يتقلب ويتم أخذ جميع العناصر في العينة من نفس التوزيع الاحتمالي .
  • تعني الاستقلالية أن عناصر العينة جميعها أحداث مستقلة. بعبارة أخرى، لا توجد أي صلة بينها؛ [ 2 ] فمعرفة قيمة أحد المتغيرات لا تعطي أي معلومات عن قيمة المتغير الآخر، والعكس صحيح.

طلب

تُستخدم المتغيرات العشوائية المستقلة والمتطابقة التوزيع غالبًا كفرضية، مما يُبسط العمليات الرياضية الأساسية. ومع ذلك، في التطبيقات العملية للنمذجة الإحصائية ، قد تكون هذه الفرضية واقعية أو غير واقعية. [ 3 ]

يُستخدم افتراض الاستقلال والتطابق أيضًا في نظرية النهاية المركزية ، والتي تنص على أن التوزيع الاحتمالي لمجموع (أو متوسط) المتغيرات المستقلة والمتطابقة ذات التباين المحدود يقترب من التوزيع الطبيعي . [ 4 ]

يُفترض أن تكون المتغيرات مستقلة ومتطابقة التوزيع (iid ) شائعة في سياق متواليات المتغيرات العشوائية. ويعني هذا أن كل عنصر في المتوالية مستقل عن المتغيرات العشوائية التي سبقته. وبهذا، تختلف المتوالية المستقلة والمتطابقة التوزيع عن متوالية ماركوف ، حيث يكون التوزيع الاحتمالي للمتغير العشوائي رقم n دالةً للمتغير العشوائي السابق في المتوالية (في متوالية ماركوف من الرتبة الأولى). ولا يعني كون المتوالية مستقلة ومتطابقة التوزيع بالضرورة أن تكون احتمالات جميع عناصر فضاء العينة أو فضاء الأحداث متساوية. [ 5 ] فعلى سبيل المثال، ينتج عن رمي النرد المثقل بشكل متكرر متوالية مستقلة ومتطابقة التوزيع، على الرغم من تحيز النتائج.

في معالجة الإشارات ومعالجة الصور ، فإن مفهوم التحويل إلى متغيرات مستقلة ومتطابقة التوزيع (iid) يتضمن مواصفاتين، الجزء "id" والجزء "i".

id . – يجب أن يكون مستوى الإشارة متوازنًا على محور الزمن.

i . – يجب تسوية طيف الإشارة، أي تحويله عن طريق الترشيح (مثل فك الالتفاف ) إلى إشارة ضوضاء بيضاء (أي إشارة تكون فيها جميع الترددات موجودة بالتساوي).

تعريف

تعريف متغيرين عشوائيين

لنفترض أن المتغيرات العشوائيةX{\displaystyle X}وY{\displaystyle Y}يتم تعريفها لتأخذ قيمًا فيأنا⊆R{\displaystyle I\subseteq \mathbb {R} }. يتركFX(x)=P⁡(X≤x){\displaystyle F_{X}(x)=\operatorname {P} (X\leq x)}وFY(y)=P⁡(Y≤y){\displaystyle F_{Y}(y)=\operatorname {P} (Y\leq y)}لتكن دوال التوزيع التراكمي لـX{\displaystyle X}وY{\displaystyle Y}، على التوالي، ونرمز إلى دالة التوزيع التراكمي المشتركة الخاصة بهما بـFX،Y(x،y)=P⁡(X≤x∧Y≤y){\displaystyle F_{X,Y}(x,y)=\operatorname {P} (X\leq x\land Y\leq y)}.

متغيران عشوائيانX{\displaystyle X}وY{\displaystyle Y}تكون مستقلة إذا وفقط إذاFX،Y(x،y)=FX(x)⋅FY(y){\displaystyle F_{X,Y}(x,y)=F_{X}(x)\cdot F_{Y}(y)}للجميعx،y∈أنا{\displaystyle x,y\in I}(في حالة الأحداث الأبسط، حدثان)أ{\displaystyle A}وب{\displaystyle B}تكون مستقلة إذا وفقط إذاP(أ∧ب)=P(أ)⋅P(ب){\displaystyle P(A\land B)=P(A)\cdot P(B)}انظر أيضًا الاستقلال (نظرية الاحتمالات) §  متغيران عشوائيان .

متغيران عشوائيانX{\displaystyle X}وY{\displaystyle Y}تكون موزعة توزيعاً متطابقاً إذا وفقط إذاFX(x)=FY(x){\displaystyle F_{X}(x)=F_{Y}(x)}للجميعx∈أنا{\displaystyle x\in I}[ 6 ]​

متغيران عشوائيانX{\displaystyle X}وY{\displaystyle Y}تكون المتغيرات مستقلة ومتطابقة التوزيع إذا كانت مستقلة ومتطابقة التوزيع، أي إذا وفقط إذا

FX(x)=FY(x)∀x∈أناFX،Y(x،y)=FX(x)⋅FY(y)∀x،y∈أنا{\displaystyle {\begin{aligned}&F_{X}(x)=F_{Y}(x)\,&\forall x\in I\\&F_{X,Y}(x,y)=F_{X}(x)\cdot F_{Y}(y)\,&\forall x,y\in I\end{aligned}}}

تعريف لأكثر من متغيرين عشوائيين

يمتد التعريف بشكل طبيعي ليشمل أكثر من متغيرين عشوائيين. نقول إنن{\displaystyle n}المتغيرات العشوائيةX1،...،Xن{\displaystyle X_{1},\ldots ,X_{n}}تكون المتغيرات مستقلة ومتطابقة التوزيع إذا كانت مستقلة (انظر المزيد الاستقلال (نظرية الاحتمالات) §  أكثر من متغيرين عشوائيين ) ومتطابقة التوزيع، أي إذا وفقط إذا

FX1(x)=FXك(x)∀ك∈{1،...،ن} و ∀x∈أناFX1،...،Xن(x1،...،xن)=FX1(x1)⋅...⋅FXن(xن)∀x1،...،xن∈أنا{\displaystyle {\begin{aligned}&F_{X_{1}}(x)=F_{X_{k}}(x)\,&\forall k\in \{1,\ldots ,n\}{\text{ and }}\forall x\in I\\&F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=F_{X_{1}}(x_{1})\cdot \ldots \cdot F_{X_{n}}(x_{n})\,&\forall x_{1},\ldots ,x_{n}\in I\end{aligned}}}

أينFX1،...،Xن(x1،...،xن)=P⁡(X1≤x1∧...∧Xن≤xن){\displaystyle F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=\operatorname {P} (X_{1}\leq x_{1}\land \ldots \land X_{n}\leq x_{n})}تشير إلى دالة التوزيع التراكمي المشترك لـX1،...،Xن{\displaystyle X_{1},\ldots ,X_{n}}.

أمثلة

المثال 1

إن سلسلة نتائج دوران عجلة الروليت ، سواء كانت عادلة أم غير عادلة، هي نتائج مستقلة ومتطابقة التوزيع . ومن تبعات ذلك أنه إذا استقرت كرة الروليت على اللون الأحمر، على سبيل المثال، 20 مرة متتالية، فإن احتمالية أن تكون النتيجة في الدوران التالي "سوداء" لا تزيد أو تقل عن أي دوران آخر (انظر مغالطة المقامر ).

المثال 2

قم برمي قطعة نقدية 10 مرات واكتب النتائج في متغيرات.أ1،...،أ10{\displaystyle A_{1},\ldots ,A_{10}}.

  1. مستقل : كل نتيجةأأنا{\displaystyle A_{i}}لن يؤثر ذلك على النتيجة الأخرىأج{\displaystyle A_{j}}(لأنا≠ج{\displaystyle i\neq j}من 1 إلى 10)، مما يعني المتغيراتأ1،...،أ10{\displaystyle A_{1},\ldots ,A_{10}}مستقلان عن بعضهما البعض.
  2. توزيع متطابق : بغض النظر عما إذا كانت العملة عادلة (باحتمالية 1/2 للوجه) أو متحيزة، طالما يتم استخدام نفس العملة في كل رمية، فإن احتمال الحصول على الوجه يظل ثابتًا في جميع الرميات.

يُطلق على هذا التسلسل من المتغيرات المستقلة والمتطابقة التوزيع اسم عملية برنولي .

المثال 3

قم برمي النرد 10 مرات واحفظ النتائج في متغيرات.أ1،...،أ10{\displaystyle A_{1},\ldots ,A_{10}}.

  1. مستقل : لن تؤثر كل نتيجة من نتائج رمية النرد على النتيجة التالية، مما يعني أن المتغيرات العشرة مستقلة عن بعضها البعض.
  2. التوزيع المتطابق : بغض النظر عما إذا كان النرد متوازنًا أم مرجحًا، فإن كل رمية ستكون لها نفس احتمالية ظهور كل نتيجة. في المقابل، فإن رمي 10 نردات مختلفة، بعضها مرجح وبعضها الآخر غير مرجح، لن ينتج عنه متغيرات مستقلة ومتطابقة التوزيع.

المثال 4

اختر بطاقة من مجموعة أوراق لعب قياسية تحتوي على 52 بطاقة، ثم أعد البطاقة إلى المجموعة. كرر هذه العملية 52 مرة. لاحظ متى يظهر الملك.

  1. مستقلة : لن تؤثر أي ملاحظة على الملاحظة التالية، مما يعني أن النتائج الـ 52 مستقلة عن بعضها البعض. في المقابل، إذا تم استبعاد كل بطاقة مسحوبة من المجموعة، فإن عمليات السحب اللاحقة ستتأثر بها (سحب ملك واحد سيجعل سحب ملك ثانٍ أقل احتمالاً)، ولن تكون الملاحظات مستقلة.
  2. توزيع متطابق : بعد سحب بطاقة واحدة منها (ثم إعادة البطاقة إلى المجموعة)، يكون احتمال الحصول على الملك في كل مرة هو 4/52، مما يعني أن الاحتمال متطابق في كل مرة.

التعميمات

لقد ثبتت صحة العديد من النتائج التي تم إثباتها لأول مرة بافتراض أن المتغيرات العشوائية مستقلة ومتطابقة التوزيع حتى في ظل افتراض توزيعي أضعف .

المتغيرات العشوائية القابلة للتبادل

إن المفهوم الأكثر عمومية الذي يشترك في الخصائص الرئيسية للمتغيرات المستقلة والمتطابقة التوزيع هو المتغيرات العشوائية القابلة للتبادل ، والتي قدمها برونو دي فينيتي . تعني قابلية التبادل أنه على الرغم من أن المتغيرات قد لا تكون مستقلة، إلا أن المتغيرات المستقبلية تتصرف مثل المتغيرات السابقة - رسميًا، أي قيمة لتسلسل منتهٍ محتملة بنفس قدر احتمال أي تبديل لتلك القيم - ويكون توزيع الاحتمال المشترك ثابتًا تحت المجموعة المتناظرة .

وهذا يوفر تعميمًا مفيدًا - على سبيل المثال، أخذ العينات بدون إرجاع ليس مستقلاً، ولكنه قابل للتبادل.

عملية ليفي

في حساب التفاضل والتكامل العشوائي ، تُعتبر المتغيرات المستقلة والمتطابقة التوزيع بمثابة عملية ليفي منفصلة الزمن : حيث يُحدد كل متغير مقدار التغير من لحظة زمنية إلى أخرى. على سبيل المثال، تُفسر سلسلة من تجارب برنولي على أنها عملية برنولي .

يمكن تعميم هذا ليشمل عمليات ليفي ذات الزمن المستمر ، ويمكن اعتبار العديد من عمليات ليفي بمثابة نهايات لمتغيرات مستقلة ومتطابقة التوزيع - على سبيل المثال، عملية وينر هي نهاية عملية برنولي.

في مجال التعلم الآلي

يتضمن التعلم الآلي (ML) استخلاص العلاقات الإحصائية من البيانات. ولتدريب نماذج التعلم الآلي بفعالية، من الضروري استخدام بيانات قابلة للتعميم على نطاق واسع. فإذا لم تكن بيانات التدريب ممثلة للمهمة تمثيلاً كافياً، فقد يكون أداء النموذج ضعيفاً عند التعامل مع بيانات جديدة غير مألوفة.

تسمح فرضية التوزيع المستقل والمتطابق بتقليل عدد الحالات الفردية المطلوبة في عينة التدريب بشكل ملحوظ، مما يُبسط حسابات التحسين. في مسائل التحسين، يُبسط افتراض التوزيع المستقل والمتطابق حساب دالة الاحتمال. وبناءً على هذا الافتراض، يمكن التعبير عن دالة الاحتمال كما يلي:

ل(θ)=P(x1،x2،x3،...،xن|θ)=P(x1|θ)P(x2|θ)P(x3|θ)...P(xن|θ){\displaystyle l(\theta )=P(x_{1},x_{2},x_{3},...,x_{n}|\theta )=P(x_{1}|\theta )P(x_{2}|\theta )P(x_{3}|\theta )...P(x_{n}|\theta )}

لتحقيق أقصى قدر من احتمالية الحدث المرصود، يتم تطبيق دالة اللوغاريتم لزيادة المعلمة.θ{\textstyle \theta }وبالتحديد، يقوم بحساب ما يلي:

أرزمأxθ⁡سجل⁡(ل(θ)){\displaystyle \mathop {\rm {argmax}} \limits _{\theta }\log(l(\theta ))}

أين

سجل⁡(ل(θ))=سجل⁡(P(x1|θ))+سجل⁡(P(x2|θ))+سجل⁡(P(x3|θ))+...+سجل⁡(P(xن|θ)){\displaystyle \log(l(\theta ))=\log(P(x_{1}|\theta ))+\log(P(x_{2}|\theta ))+\log(P(x_{3}|\theta ))+...+\log(P(x_{n}|\theta ))}

تتميز الحواسيب بكفاءة عالية في إجراء عمليات الجمع المتعددة، ولكنها أقل كفاءة في عمليات الضرب. هذا التبسيط يُحسّن الكفاءة الحسابية. يُحوّل التحويل اللوغاريتمي، في عملية التعظيم، العديد من الدوال الأسية إلى دوال خطية.

هناك سببان رئيسيان يجعلان هذه الفرضية مفيدة عمليًا مع نظرية النهاية المركزية (CLT):

  1. حتى لو كانت العينة تنشأ من توزيع معقد غير غاوسي ، فإنه يمكن تقريبها بشكل جيد لأن نظرية النهاية المركزية تسمح بتبسيطها إلى توزيع غاوسي.
  2. السبب الثاني هو أن دقة النموذج تعتمد على بساطة وحدة النموذج وقدرتها التمثيلية، بالإضافة إلى جودة البيانات. فبساطة الوحدة تُسهّل تفسيرها وتوسيع نطاقها، بينما تُحسّن القدرة التمثيلية وقابلية التوسع دقة النموذج. في الشبكة العصبية العميقة ، على سبيل المثال، كل عصبون بسيط ولكنه قوي في التمثيل، طبقة تلو الأخرى، حيث يلتقط خصائص أكثر تعقيدًا لتعزيز دقة النموذج.

انظر أيضاً

مراجع

  1. ↑ كلاوسيت، آرون (2011). "مقدمة موجزة عن التوزيعات الاحتمالية" (ملف PDF) . معهد سانتا فيه . مؤرشف من الأصل (ملف PDF) بتاريخ 20 يناير 2012. تم الاطلاع عليه بتاريخ 29 نوفمبر 2011 .
  2. ↑ ستيفاني (11 مايو 2016). "إحصاءات التوزيع المستقل والمتطابق: تعريف وأمثلة" . موقع "Statistics How To " . تاريخ الاسترجاع: 9 ديسمبر 2021 .
  3. ↑ هامبل، فرانك (1998)، "هل الإحصاء صعب للغاية؟"، المجلة الكندية للإحصاء ، 26 (3): 497-513 ، doi : 10.2307/3315772 ، hdl : 20.500.11850/145503 ، JSTOR 3315772 ، S2CID 53117661  (§8).
  4. ↑ بلوم، جيه آر؛ تشيرنوف، إتش؛ روزنبلات، إم؛ تايشر، إتش (1958). "نظريات النهاية المركزية للعمليات القابلة للتبادل" . المجلة الكندية للرياضيات . 10 : 222-229 . doi : 10.4153/CJM-1958-026-0 . S2CID 124843240 . 
  5. ↑ كوفير، تي إم؛ توماس، جيه إيه (2006). عناصر نظرية المعلومات . وايلي-إنترساينس . ص 57-58 . ISBN  978-0-471-24195-9.
  6. ↑ كاسيلا وبيرغر 2002 ، النظرية 1.5.10 

للمزيد من القراءة