إنتروبيا ريني

في نظرية المعلومات ، تُعدّ إنتروبيا ريني كميةً تُعمّم مفاهيم مختلفة للإنتروبيا ، بما في ذلك إنتروبيا هارتلي ، وإنتروبيا شانون ، وإنتروبيا التصادم ، والإنتروبيا الدنيا . سُمّيت إنتروبيا ريني نسبةً إلى ألفريد ريني ، الذي بحث عن الطريقة الأكثر عموميةً لقياس المعلومات مع الحفاظ على خاصية الجمع للأحداث المستقلة. ^{[ 1 ] [ 2 ]} وفي سياق تقدير الأبعاد الكسورية ، تُشكّل إنتروبيا ريني أساس مفهوم الأبعاد المعممة . ^{[ 3 ]}

تُعدّ إنتروبيا ريني مهمة في علم البيئة والإحصاء كمؤشر للتنوع . كما أنها مهمة في المعلومات الكمومية ، حيث يمكن استخدامها كمقياس للتشابك . في نموذج سلسلة الدوران هايزنبرغ XY ، يمكن حساب إنتروبيا ريني كدالة لـ α بشكل صريح لأنها دالة ذاتية الشكل بالنسبة لمجموعة فرعية معينة من المجموعة المعيارية . ^{[ 4 ] [ 5 ]} في علوم الحاسوب النظرية ، تُستخدم إنتروبيا الحد الأدنى في سياق مستخلصات العشوائية .

يترك${\displaystyle X}$ليكن متغيرًا عشوائيًا منفصلاً بنتائج محتملة في المجموعة${\displaystyle {\mathcal {A}}=\{x_{1},x_{2},...,x_{n}\}}$والاحتمالات المقابلة${\displaystyle p_{i}\doteq \Pr(X=x_{i})}$لـ​${\displaystyle i=1,\dots ,n}$⁠ . ومن ثم، إنتروبيا ريني للنظام ⁠${\displaystyle \alpha }$، حيث${\displaystyle 0<\alpha <\infty }$و​${\displaystyle \alpha \neq 1}$، يتم تعريفها على النحو التالي ^{[ 1 ]}$${\displaystyle \mathrm {H} _{\alpha }(X)={\frac {1}{1-\alpha }}\log \left(\sum _{i=1}^{n}p_{i}^{\alpha }\right).}$$ ويتم تعريفها بشكل أكبر في${\displaystyle \alpha =0,1,\infty }$مثل $${\displaystyle \mathrm {H} _{\alpha }(X)=\lim _{\gamma \to \alpha }\mathrm {H} _{\gamma }(X).}$$

تُحدد وحدة المعلومات الناتجة بأساس اللوغاريتم ، على سبيل المثال، شانون للأساس 2، أو نات للأساس e . إذا كانت الاحتمالات${\displaystyle p_{i}=1/n}$للجميع​${\displaystyle i=1,\dots ,n}$إذاً ، فإن جميع قيم إنتروبيا ريني للتوزيع تكون متساوية :${\displaystyle \mathrm {H} _{\alpha }(X)=\log n}$. بشكل عام، بالنسبة لجميع المتغيرات العشوائية المنفصلة${\displaystyle X}$،​${\displaystyle \mathrm {H} _{\alpha }(X)}$هي دالة غير متزايدة في${\displaystyle \alpha }$⁠ .

غالباً ما تستغل التطبيقات العلاقة التالية بين إنتروبيا ريني ومعيار ألفا لمتجه الاحتمالات: $${\displaystyle \mathrm {H} _{\alpha }(X)={\frac {\alpha }{1-\alpha }}\log \left({\left\|P\right\|}_{\alpha }\right).}$$هنا، التوزيع الاحتمالي المنفصل${\displaystyle P=(p_{1},\dots ,p_{n})}$يُفسَّر على أنه متجه في${\displaystyle \mathbb {R} ^{n}}$مع${\displaystyle p_{i}\geq 0}$و${\textstyle \sum _{i=1}^{n}p_{i}=1}$.

إنتروبيا ريني لأي${\displaystyle \alpha \geq 0}$هو مقعر شور ، وهي خاصية يمكن إثباتها بواسطة معيار شور-أوستروفسكي.

مثل${\displaystyle \alpha }$عندما تقترب قيمة إنتروبيا ريني من الصفر، فإنها تُعطي وزنًا متساويًا لجميع الأحداث ذات الاحتمالية غير الصفرية، بغض النظر عن احتمالاتها. في حالة ⁠${\displaystyle \alpha \to 0}$إن إنتروبيا ريني هي ببساطة لوغاريتم حجم نطاق X. الحد لـ${\displaystyle \alpha \to 1}$هي إنتروبيا شانون .${\displaystyle \alpha =2}$ترتبط إنتروبيا ريني باحتمالية التصادم، والكمية${\displaystyle 2^{H_{2}}=1/\sum p_{i}^{2}}$يُعرف هذا باسم نسبة المشاركة، ويُستخدم على نطاق واسع في فيزياء المادة المكثفة ونظرية المصفوفات العشوائية لقياس العدد الفعال للحالات التي تُساهم في التوزيع.${\displaystyle \alpha }$عندما تقترب قيمة إنتروبيا ريني من اللانهاية، فإنها تتحدد بشكل متزايد بالأحداث ذات الاحتمالية الأعلى.

الذي - التي${\displaystyle \mathrm {H} _{\alpha }}$لا يزداد في${\displaystyle \alpha }$لأي توزيع احتمالات معين ⁠${\displaystyle p_{i}}$، وهو ما يمكن إثباته بالتفاضل، ^{[ 9 ]} كما $${\displaystyle -{\frac {d\mathrm {H} _{\alpha }}{d\alpha }}={\frac {1}{(1-\alpha )^{2}}}\sum _{i=1}^{n}z_{i}\log(z_{i}/p_{i})={\frac {1}{(1-\alpha )^{2}}}D_{\text{KL}}(z\|p)}$$ وهو ما يتناسب مع تباعد كولباك-لايبير (وهو دائمًا غير سالب)، حيث ${\textstyle z_{i}=p_{i}^{\alpha }/\sum _{j=1}^{n}p_{j}^{\alpha }}$. على وجه الخصوص، تكون موجبة تمامًا إلا عندما يكون التوزيع منتظمًا.

في${\displaystyle \alpha \to 1}$لدينا حد${\textstyle -{\frac {d\mathrm {H} _{\alpha }}{d\alpha }}\to {\frac {1}{2}}\sum _{i}p_{i}{\left(\ln p_{i}+H(p)\right)}^{2}}$.

في حالات معينة، يمكن إثبات المتباينات أيضًا بواسطة متباينة جنسن : ^{[ 10 ] [ 11 ]}$${\displaystyle \log n=\mathrm {H} _{0}\geq \mathrm {H} _{1}\geq \mathrm {H} _{2}\geq \mathrm {H} _{\infty }.}$$

بالنسبة لقيم ⁠${\displaystyle \alpha >1}$، كما أن المتباينات في الاتجاه الآخر صحيحة أيضاً. على وجه الخصوص، لدينا ^{[ 12 ] [ 13 ]}$${\displaystyle \mathrm {H} _{2}\leq 2\mathrm {H} _{\infty }.}$$

من ناحية أخرى، إنتروبيا شانون${\displaystyle \mathrm {H} _{1}}$يمكن أن تكون عالية بشكل تعسفي بالنسبة لمتغير عشوائي${\displaystyle X}$التي لها حد أدنى معين من الإنتروبيا. مثال على ذلك هو سلسلة المتغيرات العشوائية${\displaystyle X_{n}\sim \{0,\ldots ,n\}}$ل${\displaystyle n\geq 1}$بحيث${\displaystyle P(X_{n}=0)=1/2}$و${\displaystyle P(X_{n}=x)=1/(2n)}$منذ${\displaystyle \mathrm {H} _{\infty }(X_{n})=\log 2}$لكن​${\displaystyle \mathrm {H} _{1}(X_{n})=(\log 2+\log 2n)/2}$⁠ .

إلى جانب قيم إنتروبيا ريني المطلقة، حدد ريني أيضًا طيفًا من مقاييس التباعد التي تعمم تباعد كولباك-لايبير . ^{[ 14 ]}

اختلاف ريني في النظام ⁠${\displaystyle \alpha }$أو يُعرَّف التباعد ألفا لتوزيع P عن توزيعQ على النحو التالي:$${\displaystyle {\begin{aligned}D_{\alpha }(P\Vert Q)&={\frac {1}{\alpha -1}}\log \left(\sum _{i=1}^{n}p_{i}^{\alpha }q_{i}^{1-\alpha }\right)\\[1ex]&={\frac {1}{\alpha -1}}\log \mathbb {E} _{i\sim p}\left[{\left(p_{i}/q_{i}\right)}^{\alpha -1}\right]\,\end{aligned}}}$$ عندما​${\displaystyle 0<\alpha <\infty }$و​​${\displaystyle \alpha \neq 1}$⁠ . يمكننا تعريف تباعد ريني للقيم الخاصة α = 0، 1، ∞ عن طريق أخذ النهاية، وعلى وجه الخصوص النهاية α → 1 تعطي تباعد كولباك-لايبير.

بعض الحالات الخاصة:

• ⁠${\displaystyle D_{0}(P\Vert Q)=-\log Q(\{i:p_{i}>0\})}$: ناقص احتمال اللوغاريتم تحت Q أن p _i > 0 ؛
• ⁠${\displaystyle D_{1/2}(P\Vert Q)=-2\log \sum _{i=1}^{n}{\sqrt {p_{i}q_{i}}}}$: ناقص ضعف لوغاريتم معامل بهاتاشاريا ؛ ( نيلسن وبولتز (2010) )
• ⁠${\displaystyle D_{1}(P\Vert Q)=\sum _{i=1}^{n}p_{i}\log {\frac {p_{i}}{q_{i}}}}$: تباعد كولباك-لايبير ؛
• ⁠${\displaystyle D_{2}(P\Vert Q)=\log {\Big \langle }{\frac {p_{i}}{q_{i}}}{\Big \rangle }}$⁠ : لوغاريتم النسبة المتوقعة للاحتمالات؛
• ⁠${\displaystyle D_{\infty }(P\Vert Q)=\log \sup _{i}{\frac {p_{i}}{q_{i}}}}$⁠ : لوغاريتم النسبة القصوى للاحتمالات.

إن تباين ريني هو في الواقع تباين ، وهذا يعني ببساطة أن${\displaystyle D_{\alpha }(P\|Q)}$تكون أكبر من أو تساوي الصفر، وتساوي الصفر فقط عندما يكون P = Q. بالنسبة لأي توزيعين ثابتين P و Q ، يكون تباعد ريني غير متناقص كدالة لرتبته α ، وهو متصل على مجموعة α التي يكون عندها محدودًا، ^{[ 14 ]} أو باختصار، المعلومات من الرتبة ^α التي يتم الحصول عليها إذا تم استبدال التوزيع P بالتوزيع Q. [ ^{1 ]}

يمكن النظر إلى زوج من التوزيعات الاحتمالية على أنه لعبة حظ، حيث يحدد أحد التوزيعين الاحتمالات الرسمية، بينما يحتوي الآخر على الاحتمالات الفعلية. معرفة الاحتمالات الفعلية تُمكّن اللاعب من الربح من اللعبة. يرتبط معدل الربح المتوقع بتباعد ريني كما يلي ^{[ 15 ]}$${\displaystyle {\rm {ExpectedRate}}={\frac {1}{R}}\,D_{1}(b\|m)+{\frac {R-1}{R}}\,D_{1/R}(b\|m)\,,}$$ أين${\displaystyle m}$هل التوزيع هو الذي يحدد الاحتمالات الرسمية (أي "السوق") للعبة؟${\displaystyle b}$التوزيع الذي يعتقد المستثمرون أنه${\displaystyle R}$هو نفور المستثمر من المخاطرة ( النفور النسبي من المخاطرة وفقًا لـ Arrow–Pratt ).

إذا كان التوزيع الحقيقي${\displaystyle p}$(لا يتوافق بالضرورة مع اعتقاد المستثمر )${\displaystyle b}$) ، يتقارب المعدل المحقق على المدى الطويل مع التوقع الحقيقي الذي له بنية رياضية مماثلة ^{[ 15 ]}$${\displaystyle {\rm {RealizedRate}}={\frac {1}{R}}\,{\Big (}D_{1}(p\|m)-D_{1}(p\|b){\Big )}+{\frac {R-1}{R}}\,D_{1/R}(b\|m)\,.}$$

القيمة​${\displaystyle \alpha =1}$⁠ ، التي تعطي إنتروبيا شانون وتباعد كولباك-لايبير ، هي القيمة الوحيدة التي تنطبق عندها قاعدة السلسلة للاحتمال الشرطي تمامًا: $${\displaystyle \mathrm {H} (A,X)=\mathrm {H} (A)+\mathbb {E} _{a\sim A}{\big [}\mathrm {H} (X|A=a){\big ]}}$$ بالنسبة للإنتروبيات المطلقة، و $${\displaystyle D_{\mathrm {KL} }(p(x|a)p(a)\|m(x,a))=D_{\mathrm {KL} }(p(a)\|m(a))+\mathbb {E} _{p(a)}\{D_{\mathrm {KL} }(p(x|a)\|m(x|a))\},}$$ بالنسبة للإنتروبيات النسبية.

وهذا الأخير يعني على وجه الخصوص أنه إذا كنا نبحث عن توزيع p ( x , a ) الذي يقلل من التباعد عن بعض القياس المسبق الأساسي m ( x , a ) ، وحصلنا على معلومات جديدة تؤثر فقط على توزيع a ، فإن توزيع p ( x | a ) يظل m ( x | a ) دون تغيير.

تُحقق تباعدات ريني الأخرى معايير كونها موجبة ومستمرة، وثابتة تحت تحويلات الإحداثيات أحادية التقابل، وتتحد جمعيًا عندما يكون A و X مستقلين، بحيث إذا كان p ( A , X ) = p ( A ) p ( X ) ، فإن $${\displaystyle \mathrm {H} _{\alpha }(A,X)=\mathrm {H} _{\alpha }(A)+\mathrm {H} _{\alpha }(X)\;}$$ و $${\displaystyle D_{\alpha }(P(A)P(X)\|Q(A)Q(X))=D_{\alpha }(P(A)\|Q(A))+D_{\alpha }(P(X)\|Q(X)).}$$

الخصائص الأقوى لـ${\displaystyle \alpha =1}$تسمح الكميات بتعريف المعلومات المشروطة والمعلومات المتبادلة من نظرية الاتصال.

تسمح إنتروبيات ريني والتباعدات لعائلة أسية بتعبيرات بسيطة ^{[ 16 ]}$${\displaystyle \mathrm {H} _{\alpha }(p_{F}(x;\theta ))={\frac {1}{1-\alpha }}\left(F(\alpha \theta )-\alpha F(\theta )+\log E_{p}\left[e^{(\alpha -1)k(x)}\right]\right)}$$ و $${\displaystyle D_{\alpha }(p:q)={\frac {J_{F,\alpha }(\theta$$ :\theta ')}{1-\alpha }}} حيث $${\displaystyle J_{F,\alpha }(\theta$$ :\theta ')=\alpha F(\theta )+(1-\alpha )F(\theta ')-F(\alpha \theta +(1-\alpha )\theta ')} هو تباعد فرق جنسن.

يمكن تعميم إنتروبيا ريني على الحالة الكمومية على النحو التالي:

${\displaystyle H_{\alpha }(\rho ):={\frac {1}{1-\alpha }}\log \operatorname {tr} (\rho ^{\alpha })}$

أين${\displaystyle \rho }$هي مصفوفة الكثافة المعيارية . حدها عندما${\displaystyle \alpha \to 1}$هي إنتروبيا فون نيومان . ^{[ 17 ]}

يمكن تعميم إنتروبيا ريني النسبية (أو التباعد) بطريقتين محتملتين: إنتروبيا ريني النسبية الكمومية المباشرة

${\displaystyle D_{\alpha }(\rho \|\sigma )={\frac {1}{\alpha -1}}\log \operatorname {tr} (\rho ^{\alpha }\sigma ^{1-\alpha })}$

والإنتروبيا النسبية لريني المحصورة بين طبقتين

${\displaystyle {\tilde {D}}_{\alpha }(\rho \|\sigma )={\frac {1}{\alpha -1}}\log \operatorname {tr} \left[\left(\sigma ^{\frac {1-\alpha }{2\alpha }}\rho \sigma ^{\frac {1-\alpha }{2\alpha }}\right)^{\alpha }\right]}$

يتقارب كلاهما إلى الإنتروبيا النسبية الكمومية في الحد${\displaystyle \alpha \to 1}$ومع ذلك، فإن إنتروبيا ريني النسبية المحصورة بين طبقتين تتمتع بخصائص أكثر ملاءمة عند استخدامها لتعريف الإنتروبيات الشرطية، ^{[ 17 ]} وقد وجدت تطبيقات في توزيع المفاتيح الكمومية . ^{[ 18 ] [ 19 ]}

أحد مقاييس السحر الكمومي هو إنتروبيا ريني المثبتة ^{[ 20 ]} من الرتبة α :

${\displaystyle M_{\alpha }={\frac {1}{1-\alpha }}\log \left[{\frac {1}{2^{N}}}\sum _{{\hat {P}}\in \mathbb {P} _{N}}\langle {\hat {P}}\rangle ^{2\alpha }\right]}$

مع${\displaystyle {\hat {P}}}$كونها مجموعة باولي متعددة الكيوبتات و${\displaystyle \langle {\hat {P}}\rangle =\langle \psi |{\hat {P}}|\psi \rangle }$هي قيمة متوقعة (في ميكانيكا الكم) لـ${\displaystyle N}$نظام الكيوبت.

أظهر هيل (1973) أن الدالة الأسية لإنتروبيا ريني من الرتبة α تُعرّف عائلة من مؤشرات التنوع ذات مُعامل واحد ، تُعرف الآن بأعداد هيل : ^αD = exp( Hα ₎ . ^{[ 21 ]} عندما α = 0، يُعطي هذا المؤشر ثراء الأنواع (العدد الإجمالي للأنواع الموجودة)؛ وعندما α = 1، يُعطي الدالة الأسية لإنتروبيا شانون ؛ وعندما α = 2، يُعطي مؤشر سيمبسون العكسي ، الذي يحسب العدد الفعلي للأنواع الشائعة بالتساوي. يُوحّد إطار هيل عدة مقاييس للتنوع كانت مُتباينة سابقًا كأعضاء في عائلة بارامترية واحدة، تختلف فقط في مقدار الوزن المُعطى للأنواع النادرة مقابل الأنواع الشائعة.

• مؤشرات التنوع
• إنتروبيا تساليس
• مؤشر الإنتروبيا المعمم