الإنتروبيا المشتركة

📅 آخر تحديث: ٣١ يوليو ٢٠٢٦
✍️ نُشر في: ٣١ يوليو ٢٠٢٦
📷 يحتوي على 36 صور
الموسوعة الحرة
مخطط فين يوضح العلاقات الجمعية والطرحية بين مقاييس المعلومات المختلفة المرتبطة بالمتغيرين المترابطين X و Y. تمثل المساحة المحصورة بين الدائرتين الإنتروبيا المشتركة H(X,Y). الدائرة على اليسار (الحمراء والبنفسجية) هي الإنتروبيا الفردية H(X)، حيث تمثل الحمراء الإنتروبيا الشرطية H(X | Y). الدائرة على اليمين (الزرقاء والبنفسجية) هي H(Y)، حيث تمثل الزرقاء H(Y | X). أما البنفسجية فتمثل المعلومات المتبادلة I(X;Y).

في نظرية المعلومات ، يعتبر الإنتروبيا المشتركة مقياسًا لعدم اليقين المرتبط بمجموعة من المتغيرات . [ 1 ]

تعريف

إنتروبيا شانون المشتركة ( بالبتات ) لمتغيرين عشوائيين منفصلينX{\displaystyle X}وY{\displaystyle Y}مع الصورX{\displaystyle {\mathcal {X}}}وY{\displaystyle {\mathcal {Y}}}يُعرَّف على النحو التالي [ 2 ] : 16

ح(X،Y)=-∑x∈X∑y∈YP(x،y)سجل2⁡[P(x،y)]{\displaystyle \mathrm {H} (X,Y)=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}P(x,y)\log _{2}[P(x,y)]}

أينx{\displaystyle x}وy{\displaystyle y}هي قيم محددة لـX{\displaystyle X}وY{\displaystyle Y}، على التوالى،P(x،y){\displaystyle P(x,y)}يمثل الاحتمال المشترك لحدوث هذه القيم معًا، وP(x،y)سجل2⁡[P(x،y)]{\displaystyle P(x,y)\log _{2}[P(x,y)]}يُعرَّف بأنه يساوي صفرًا إذاP(x،y)=0{\displaystyle P(x,y)=0}.

لأكثر من متغيرين عشوائيينX1،...،Xن{\displaystyle X_{1},...,X_{n}}ويتوسع هذا إلى

ح(X1،...،Xن)=-∑x1∈X1...∑xن∈XنP(x1،...،xن)سجل2⁡[P(x1،...،xن)]{\displaystyle \mathrm {H} (X_{1},...,X_{n})=-\sum _{x_{1}\in {\mathcal {X}}_{1}}...\sum _{x_{n}\in {\mathcal {X}}_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]}

أينx1،...،xن{\displaystyle x_{1},...,x_{n}}هي قيم محددة لـX1،...،Xن{\displaystyle X_{1},...,X_{n}}، على التوالى،P(x1،...،xن){\displaystyle P(x_{1},...,x_{n})}ما هو احتمال حدوث هذه القيم معًا، وP(x1،...،xن)سجل2⁡[P(x1،...،xن)]{\displaystyle P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]}يُعرَّف بأنه يساوي صفرًا إذاP(x1،...،xن)=0{\displaystyle P(x_{1},...,x_{n})=0}.

ملكيات

عدم السلبية

الإنتروبيا المشتركة لمجموعة من المتغيرات العشوائية هي عدد غير سالب.

ح(X،Y)≥0{\displaystyle \mathrm {H} (X,Y)\geq 0}
ح(X1،...،Xن)≥0{\displaystyle \mathrm {H} (X_{1},\ldots ,X_{n})\geq 0}

أكبر من الانتروبيا الفردية

إن الإنتروبيا المشتركة لمجموعة من المتغيرات أكبر من أو تساوي الحد الأقصى لجميع قيم الإنتروبيا الفردية للمتغيرات في المجموعة.

ح(X،Y)≥الأعلى[ح(X)،ح(Y)]{\displaystyle \mathrm {H} (X,Y)\geq \max \left[\mathrm {H} (X),\mathrm {H} (Y)\right]}
ح(X1،...،Xن)≥الأعلى1≤أنا≤ن{ح(Xأنا)}{\displaystyle \mathrm {H} {\bigl (}X_{1},\ldots ,X_{n}{\bigr )}\geq \max _{1\leq i\leq n}{\Bigl \{}\mathrm {H} {\bigl (}X_{i}{\bigr )}{\Bigr \}}}

أقل من أو يساوي مجموع الإنتروبيا الفردية

الإنتروبيا المشتركة لمجموعة من المتغيرات أقل من أو تساوي مجموع إنتروبيات المتغيرات الفردية في المجموعة. هذا مثال على خاصية الجمع الجزئي . وتكون هذه المتباينة مساواة إذا وفقط إذاX{\displaystyle X}وY{\displaystyle Y}مستقلة إحصائياً . [ 2 ] : 30

ح(X،Y)≤ح(X)+ح(Y){\displaystyle \mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)}
ح(X1،...،Xن)≤ح(X1)+...+ح(Xن){\displaystyle \mathrm {H} (X_{1},\ldots ,X_{n})\leq \mathrm {H} (X_{1})+\ldots +\mathrm {H} (X_{n})}

العلاقة بمقاييس الإنتروبيا الأخرى

يُستخدم مفهوم الإنتروبيا المشتركة في تعريف الإنتروبيا الشرطية [ 2 ] : 22

ح(X|Y)=ح(X،Y)-ح(Y){\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm {H} (Y)\,}،

و

ح(X1،...،Xن)=∑ك=1نح(Xك|Xك-1،...،X1){\displaystyle \mathrm {H} (X_{1},\dots ,X_{n})=\sum _{k=1}^{n}\mathrm {H} (X_{k}|X_{k-1},\dots ,X_{1})}.

بالنسبة لمتغيرينX{\displaystyle X}وY{\displaystyle Y}وهذا يعني أن

ح(X،Y)=ح(Y)+ح(X|Y)=ح(X)+ح(Y|X){\displaystyle \mathrm {H} (X,Y)=\mathrm {H} (Y)+\mathrm {H} (X|Y)=\mathrm {H} (X)+\mathrm {H} (Y|X)}.

يُستخدم مفهوم الإنتروبيا المشتركة أيضًا في تعريف المعلومات المتبادلة [ 2 ] : 21

أنا⁡(X;Y)=ح(X)+ح(Y)-ح(X،Y){\displaystyle \operatorname {I} (X;Y)=\mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\,}.

في نظرية المعلومات الكمومية ، يتم تعميم الإنتروبيا المشتركة إلى الإنتروبيا الكمومية المشتركة .

إنتروبيا تفاضلية مشتركة

تعريف

التعريف أعلاه خاص بالمتغيرات العشوائية المتقطعة، وهو صالح بنفس القدر في حالة المتغيرات العشوائية المتصلة. يُطلق على النسخة المتصلة من الإنتروبيا المشتركة المتقطعة اسم الإنتروبيا التفاضلية المشتركة (أو الإنتروبيا المتصلة) .X{\displaystyle X}وY{\displaystyle Y}لتكن متغيرات عشوائية متصلة ذات دالة كثافة احتمالية مشتركةو(x،y){\displaystyle f(x,y)}الإنتروبيا المشتركة التفاضليةح(X،Y){\displaystyle h(X,Y)}يُعرَّف على النحو التالي [ 2 ] : 249

ح(X،Y)=-∫X،Yو(x،y)سجل⁡و(x،y)دxدy{\displaystyle h(X,Y)=-\int _{{\mathcal {X}},{\mathcal {Y}}}f(x,y)\log f(x,y)\,dxdy}

لأكثر من متغيرين عشوائيين مستمرينX1،...،Xن{\displaystyle X_{1},...,X_{n}}يُعمم التعريف إلى:

ح(X1،...،Xن)=-∫و(x1،...،xن)سجل⁡و(x1،...،xن)دx1...دxن{\displaystyle h(X_{1},\ldots ,X_{n})=-\int f(x_{1},\ldots ,x_{n})\log f(x_{1},\ldots ,x_{n})\,dx_{1}\ldots dx_{n}}

يتم حساب التكامل على نطاق الدعم لـو{\displaystyle f}من الممكن ألا يكون التكامل موجودًا، وفي هذه الحالة نقول إن الإنتروبيا التفاضلية غير معرفة.

ملكيات

كما هو الحال في الحالة المنفصلة، ​​فإن الإنتروبيا التفاضلية المشتركة لمجموعة من المتغيرات العشوائية تكون أصغر من أو تساوي مجموع إنتروبيات المتغيرات العشوائية الفردية:

ح(X1،X2،...،Xن)≤∑أنا=1نح(Xأنا){\displaystyle h(X_{1},X_{2},\ldots ,X_{n})\leq \sum _{i=1}^{n}h(X_{i})}[ 2 ] : 253

تنطبق قاعدة السلسلة التالية على متغيرين عشوائيين:

ح(X،Y)=ح(X|Y)+ح(Y){\displaystyle h(X,Y)=h(X|Y)+h(Y)}

في حالة وجود أكثر من متغيرين عشوائيين، يُعمم هذا إلى: [ 2 ] : 253

ح(X1،X2،...،Xن)=∑أنا=1نح(Xأنا|X1،X2،...،Xأنا-1){\displaystyle h(X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}h(X_{i}|X_{1},X_{2},\ldots ,X_{i-1})}

يُستخدم مفهوم الإنتروبيا التفاضلية المشتركة أيضًا في تعريف المعلومات المتبادلة بين المتغيرات العشوائية المستمرة:

أنا⁡(X،Y)=ح(X)+ح(Y)-ح(X،Y){\displaystyle \operatorname {I} (X,Y)=h(X)+h(Y)-h(X,Y)}

مراجع

  1. ↑ تيريزا م. كورن ؛ كورن، غرانينو آرثر (يناير 2000). دليل الرياضيات للعلماء والمهندسين: تعريفات ونظريات وصيغ للرجوع إليها ومراجعتها . نيويورك: منشورات دوفر. ISBN 0-486-41147-8.
  2. 1 2 3 4 5 6 7 توماس إم. كوفر؛ جوي أ. توماس (18 يوليو 2006). عناصر نظرية المعلومات . هوبوكين، نيو جيرسي: وايلي. ISBN 0-471-24195-4.