تباعد كولباك-لايبير

الموسوعة الحرة

في الإحصاء الرياضي ، يُشار إلى تباعد كولباك-لايبير ( KL ) (ويُسمى أيضًا الإنتروبيا النسبية وتباعد I ) [ 1 ]دكوالالمبور(P∥سؤال){\displaystyle D_{\text{KL}}(P\parallel Q)}المسافة الإحصائية هي نوع من أنواع المسافة الإحصائية : وهي مقياس لمدى اختلاف توزيع الاحتمال التقريبي Q عن توزيع الاحتمال الحقيقي P. [ 2 ] [ 3 ] رياضياً، تُعرَّف على النحو التالي :

دكوالالمبور(P∥سؤال)=∑x∈XP(x)سجل⁡P(x)سؤال(x).{\displaystyle D_{\text{KL}}(P\parallel Q)=\sum _{x\in {\mathcal {X}}}P(x)\,\log {\frac {P(x)}{Q(x)}}{\text{.}}}

التفسير البسيط لتباعد كولباك-لايبير بين P و Q هو الزيادة المتوقعة في المفاجأة عند استخدام التقريب Q بدلاً من P عندما تكون القيمة الفعلية هي P. وبينما يُعد هذا التباعد مقياسًا لمدى اختلاف التوزيعين، وبالتالي فهو مسافة بمعنى ما، إلا أنه ليس مقياسًا بالمعنى الدقيق ، وهو النوع الأكثر شيوعًا ورسمية للمسافة. وعلى وجه الخصوص، فهو غير متناظر بين التوزيعين (على عكس تباين المعلومات )، ولا يحقق متباينة المثلث . بدلاً من ذلك، من منظور هندسة المعلومات ، يُعد نوعًا من التباعد ، [ 4 ] وتعميمًا للمسافة التربيعية ، وبالنسبة لفئات معينة من التوزيعات (لا سيما العائلة الأسية )، فإنه يحقق نظرية فيثاغورس المعممة (التي تنطبق على المسافات التربيعية). [ 5 ]

تباعد كولباك-لايبير هو دائمًا عدد حقيقي غير سالب ، وقيمته صفر إذا وفقط إذا كان التوزيعان المعنيان متطابقين. وله تطبيقات متنوعة، منها النظرية، مثل توصيف الإنتروبيا النسبية (إنتروبيا شانون) في نظم المعلومات، والعشوائية في السلاسل الزمنية المستمرة ، ومكسب المعلومات عند مقارنة النماذج الإحصائية للاستدلال ؛ ومنها العملية، مثل الإحصاء التطبيقي، وميكانيكا الموائع ، وعلم الأعصاب ، والمعلوماتية الحيوية ، والتعلم الآلي .

مقدمة وسياق

لنفترض وجود توزيعين احتماليين، التوزيع الحقيقي P والتوزيع التقريبي Q. غالبًا ما يُمثل P البيانات أو المشاهدات أو توزيعًا احتماليًا مُقاسًا، بينما يُمثل التوزيع Q نظرية أو نموذجًا أو وصفًا أو تقريبًا آخر لـ P. مع ذلك، في بعض الأحيان يُمثل التوزيع الحقيقي P نموذجًا، بينما يُمثل التوزيع التقريبي Q بيانات (محاكاة) تهدف إلى مطابقة التوزيع الحقيقي. تباعد كولباك-لايبيردكوالالمبور(P∥سؤال){\displaystyle D_{\text{KL}}(P\parallel Q)}ثم يتم تفسيرها على أنها متوسط ​​الفرق في عدد البتات المطلوبة لترميز عينات من P باستخدام رمز مُحسَّن لـ Q بدلاً من رمز مُحسَّن لـ P.

لاحظ أنه يمكن عكس أدوار P و Q في بعض الحالات التي يكون فيها الحساب أسهل والهدف هو تقليلدكوالالمبور(P∥سؤال){\displaystyle D_{\text{KL}}(P\parallel Q)}كما هو الحال مع خوارزمية التوقع والتعظيم (EM) وحسابات الحد الأدنى للأدلة (ELBO) . يستغل هذا النهج القائم على عكس الأدوار ذلكدكوالالمبور(P∥سؤال)=0{\displaystyle D_{\text{KL}}(P\parallel Q)=0}إذا وفقط إذادكوالالمبور(سؤال∥P)=0{\displaystyle D_{\text{KL}}(Q\parallel P)=0}وفي كثير من الحالات، يؤدي تقليل أحدهما إلى تقليل الآخر.

أصل الكلمة

تم تقديم مفهوم الإنتروبيا النسبية من قبل سولومون كولباك وريتشارد ليبيلر في كتاب كولباك وليبيلر (1951) على أنه "متوسط ​​المعلومات اللازمة للتمييز بينح1{\displaystyle H_{1}}وح2{\displaystyle H_{2}}بحسب الملاحظة منμ1{\displaystyle \mu _{1}}[ 6 ] حيث تتم مقارنة مقياسين احتماليينμ1،μ2{\displaystyle \mu _{1},\mu _{2}}، وح1،ح2{\displaystyle H_{1},H_{2}}هي الفرضيات التي يتم اختيارها من القياسμ1،μ2{\displaystyle \mu _{1},\mu _{2}}(على التوالي). وقد أشاروا إلى ذلك بـأنا(1:2){\displaystyle I(1:2)}، وحدد "الاختلاف" بينμ1{\displaystyle \mu _{1}}وμ2{\displaystyle \mu _{2}}"كمية متناظرةج(1،2)=أنا(1:2)+أنا(2:1){\displaystyle J(1,2)=I(1:2)+I(2:1)}، والذي سبق أن عرّفه واستخدمه هارولد جيفريز عام 1948. [ 7 ] في كولباك (1959) ، يُشار إلى الشكل المتناظر مرة أخرى باسم "التباعد"، ويُشار إلى الإنتروبيا النسبية في كل اتجاه باسم "التباعدات الموجهة" بين توزيعين؛ [ 8 ] فضّل كولباك مصطلح معلومات التمييز . [ 9 ] يتناقض مصطلح "التباعد" مع المسافة (المقياس)، لأن التباعد المتناظر لا يحقق متباينة المثلث. [ 10 ] ترد في كولباك (1959) العديد من المراجع للاستخدامات السابقة للتباعد المتناظر وللمسافات الإحصائية الأخرى . [ 11 ] أصبح يُعرف التباعد الموجه غير المتماثل باسم تباعد كولباك-لايبير، بينما يُشار الآن إلى التباعد المتماثل باسم تباعد جيفريز .

تعريف

بالنسبة لتوزيعات الاحتمال المنفصلة P و Q المعرفة على نفس فضاء العينة ،X{\displaystyle {\mathcal {X}}}، يُعرَّف الانتروبيا النسبية من Q إلى P [ 12 ] على النحو التالي

دكوالالمبور(P∥سؤال)=∑x∈XP(x)سجل⁡P(x)سؤال(x)،{\displaystyle D_{\text{KL}}(P\parallel Q)=\sum _{x\in {\mathcal {X}}}P(x)\,\log {\frac {P(x)}{Q(x)}}{\text{,}}}

وهو ما يعادل

دكوالالمبور(P∥سؤال)=(-∑x∈XP(x)سجل⁡سؤال(x))-(-∑x∈XP(x)سجل⁡P(x)).{\displaystyle D_{\text{KL}}(P\parallel Q)=\left(-\sum _{x\in {\mathcal {X}}}P(x)\,\log Q(x)\right)-\left(-\sum _{x\in {\mathcal {X}}}P(x)\,\log P(x)\right){\text{.}}}

وبعبارة أخرى، هو توقع الفرق اللوغاريتمي بين الاحتمالات P و Q ، حيث يتم حساب التوقع باستخدام الاحتمالات P.

لا يُعرَّف الانتروبيا النسبية بهذه الطريقة إلا إذا كان، لجميع قيم x ،سؤال(x)=0{\displaystyle Q(x)=0}يشير إلىP(x)=0{\displaystyle P(x)=0}( الاستمرارية المطلقة ). وإلا، فغالبًا ما تُعرَّف على أنها+∞{\displaystyle +\infty }، [ 1 ] لكن القيمة +∞ {\displaystyle \ +\infty \ }من الممكن حتى لوسؤال(x)≠0{\displaystyle Q(x)\neq 0}في كل مكان، [ 13 ] [ 14 ] شريطة أنX{\displaystyle {\mathcal {X}}}لا نهائي في مداه. تنطبق التعليقات المماثلة على حالات القياس المستمر والعام المحددة أدناه.

حينماP(x){\displaystyle P(x)}إذا كانت قيمة الحد المقابل تساوي صفرًا، فسيتم تفسير مساهمته على أنها صفر لأن

ليمx→0+xسجل⁡(x)=0.{\displaystyle \lim _{x\to 0^{+}}x\,\log(x)=0{\text{.}}}

بالنسبة للتوزيعات P و Q لمتغير عشوائي مستمر ، يتم تعريف الإنتروبيا النسبية على أنها التكامل [ 15 ]

دكوالالمبور(P∥سؤال)=∫-∞∞ص(x)سجل⁡ص(x)q(x)دx.{\displaystyle D_{\text{KL}}(P\parallel Q)=\int _{-\infty }^{\infty }p(x)\,\log {\frac {p(x)}{q(x)}}\,dx{\text{.}}}

حيث يرمز p و q إلى دوال كثافة الاحتمال لـ P و Q.

وبشكل أعم، إذا كانت P و Q مقياسين احتماليين على فضاء قابل للقياسX،{\displaystyle {\mathcal {X}}\,,}وإذا كانت الدالة P متصلة اتصالاً مطلقاً بالنسبة للدالة Q ، فإن الإنتروبيا النسبية من Q إلى P تُعرَّف على النحو التالي:

دكوالالمبور(P∥سؤال)=∫x∈Xسجل⁡دP(x)دسؤال(x)دP(x)،{\displaystyle D_{\text{KL}}(P\parallel Q)=\int _{x\in {\mathcal {X}}}\log {\frac {dP(x)}{dQ(x)}}\,dP(x){\text{,}}}

أيندP(x)دسؤال(x){\displaystyle {\frac {dP(x)}{dQ(x)}}}هي مشتقة رادون-نيكوديم لـ P بالنسبة إلى Q ، أي الدالة الوحيدة المعرفة تقريبًا في كل مكان r على QX{\displaystyle {\mathcal {X}}}بحيثدP(x)=ر(x)دسؤال(x){\displaystyle dP(x)=r(x)dQ(x)}وهذا موجود لأن P متصلة اتصالاً مطلقاً بالنسبة إلى Q. نفترض أيضاً وجود التعبير الموجود على الجانب الأيمن. وبصورة مكافئة (باستخدام قاعدة السلسلة )، يمكن كتابة ذلك على النحو التالي:

دكوالالمبور(P∥سؤال)=∫x∈XدP(x)دسؤال(x) سجل⁡دP(x)دسؤال(x) دسؤال(x)،{\displaystyle D_{\text{KL}}(P\parallel Q)=\int _{x\in {\mathcal {X}}}{\frac {dP(x)}{dQ(x)}}\ \log {\frac {dP(x)}{dQ(x)}}\ dQ(x){\text{,}}}

وهي إنتروبيا P بالنسبة إلى Q. وبالاستمرار في هذه الحالة، إذاμ{\displaystyle \mu }هل أي إجراء بشأنX{\displaystyle {\mathcal {X}}}والتي تكون كثافتاها p و q معدP(x)=ص(x)دμ(x){\displaystyle dP(x)=p(x)\,d\mu (x)}ودسؤال(x)=q(x)دμ(x){\displaystyle dQ(x)=q(x)\,d\mu (x)}موجود (بمعنى أن P و Q كلاهما متصلان بشكل مطلق بالنسبة إلىμ{\displaystyle \mu }إذا كان Q = 1، فإن الإنتروبيا النسبية من Q إلى P تُعطى على النحو التالي:

دكوالالمبور(P∥سؤال)=∫x∈Xص(x)سجل⁡ص(x)q(x) دμ(x).{\displaystyle D_{\text{KL}}(P\parallel Q)=\int _{x\in {\mathcal {X}}}p(x)\,\log {\frac {p(x)}{q(x)}}\ d\mu (x){\text{.}}}

لاحظ أن مثل هذا الإجراءμ{\displaystyle \mu }توجد دائمًا مجموعة يمكن تعريف كثافات لها، حيث يمكن للمرء أن يأخذμ=12(P+سؤال){\textstyle \mu ={\frac {1}{2}}\left(P+Q\right)}مع ذلك، عمليًا، غالبًا ما يكون المقياس المُستخدم مناسبًا للسياق، مثل مقياس العد للتوزيعات المنفصلة، ​​أو مقياس ليبيغ أو أحد مشتقاته الملائمة، مثل المقياس الغاوسي أو المقياس المنتظم على الكرة ، أو مقياس هار على زمرة لي، وما إلى ذلك، للتوزيعات المستمرة. عادةً ما تُؤخذ اللوغاريتمات في هذه الصيغ للأساس 2 إذا قُيست المعلومات بوحدات البت ، أو للأساس e إذا قُيست المعلومات بوحدات النات . معظم الصيغ التي تتضمن الإنتروبيا النسبية تبقى صحيحة بغض النظر عن أساس اللوغاريتم.

توجد اصطلاحات مختلفة للإشارة إلىدكوالالمبور(P∥سؤال){\displaystyle D_{\text{KL}}(P\parallel Q)} in words. Often it is referred to as the divergence betweenP and Q, but this fails to convey the fundamental asymmetry in the relation. Sometimes, as in this article, it may be described as the divergence of PfromQ or as the divergence fromQtoP. This reflects the asymmetry in Bayesian inference, which starts from a prior distributionQ and updates to the posteriorP. Another common way to refer to DKL(P∥Q){\displaystyle D_{\text{KL}}(P\parallel Q)} is as the relative entropy of Pwith respect toQ or the information gain from P over Q.

Basic example

Kullback[3] gives the following example (Table 2.1, Example 2.1). Let P and Q be the distributions shown in the table and figure. P is the distribution on the left side of the figure, a binomial distribution with N=2{\displaystyle N=2} and p=0.4{\displaystyle p=0.4}. Q is the distribution on the right side of the figure, a discrete uniform distribution with the three possible outcomes x = 0, 1, 2 (i.e. X={0,1,2}{\displaystyle {\mathcal {X}}=\{0,1,2\}}), each with probability p=1/3{\displaystyle p=1/3}.

Two distributions to illustrate relative entropy
x
Distribution
012
P(x){\displaystyle P(x)}⁠9/25⁠⁠12/25⁠⁠4/25⁠
Q(x){\displaystyle Q(x)}⁠1/3⁠⁠1/3⁠⁠1/3⁠

Relative entropies DKL(P∥Q){\displaystyle D_{\text{KL}}(P\parallel Q)} and DKL(Q∥P){\displaystyle D_{\text{KL}}(Q\parallel P)} are calculated as follows. This example uses the natural log with base e, designated ln to get results in nats (see units of information):

DKL(P∥Q)=∑x∈XP(x)ln⁡P(x)Q(x)=925ln⁡9/251/3+1225ln⁡12/251/3+425ln⁡4/251/3=125(32ln⁡2+55ln⁡3−50ln⁡5)≈0.0852996,\begin{aligned}D_{\text{KL}}(P\parallel Q)&=\sum _{x\in {\mathcal {X}}}P(x)\,\ln {\frac {P(x)}{Q(x)}}\\&={\frac {9}{25}}\ln {\frac {9/25}{1/3}}+{\frac {12}{25}}\ln {\frac {12/25}{1/3}}+{\frac {4}{25}}\ln {\frac {4/25}{1/3}}\\&={\frac {1}{25}}\left(32\ln 2+55\ln 3-50\ln 5\right)\\&\approx 0.0852996\end{aligned}}}

DKL(Q∥P)=∑x∈XQ(x)ln⁡Q(x)P(x)=13ln⁡1/39/25+13ln⁡1/312/25+13ln⁡1/34/25=13(−4ln⁡2−6ln⁡3+6ln⁡5)≈0.097455.{\displaystyle {\begin{aligned}D_{\text{KL}}(Q\parallel P)&=\sum _{x\in {\mathcal {X}}}Q(x)\,\ln {\frac {Q(x)}{P(x)}}\\&={\frac {1}{3}}\,\ln {\frac {1/3}{9/25}}+{\frac {1}{3}}\,\ln {\frac {1/3}{12/25}}+{\frac {1}{3}}\,\ln {\frac {1/3}{4/25}}\\&={\frac {1}{3}}\left(-4\ln 2-6\ln 3+6\ln 5\right)\\&\approx 0.097455{\text{.}}\end{aligned}}}

Interpretations

Statistics

In the field of statistics, the Neyman–Pearson lemma states that the most powerful way to distinguish between the two distributions P and Q based on an observation Y (drawn from one of them) is through the log of the ratio of their likelihoods: log⁡P(Y)−log⁡Q(Y){\displaystyle \log P(Y)-\log Q(Y)}. The KL divergence is the expected value of this statistic if Y is actually drawn from P. Kullback motivated the statistic as an expected log likelihood ratio.[16]

Coding

In the context of coding theory, DKL(P∥Q){\displaystyle D_{\text{KL}}(P\parallel Q)}يمكن إنشاء ذلك عن طريق قياس العدد المتوقع من البتات الإضافية المطلوبة لترميز العينات من P باستخدام رمز مُحسَّن لـ Q بدلاً من الرمز المُحسَّن لـ P.

الاستدلال

في سياق التعلم الآلي ،دكوالالمبور(P∥سؤال){\displaystyle D_{\text{KL}}(P\parallel Q)}يُطلق عليه غالبًا اسم مكسب المعلومات الذي يتحقق في حال استخدام P بدلًا من Q المستخدمة حاليًا. قياسًا على نظرية المعلومات، يُطلق عليه اسم الإنتروبيا النسبية لـ P بالنسبة إلى Q.

معبرًا عنها بلغة الاستدلال البايزي ،دكوالالمبور(P∥سؤال){\displaystyle D_{\text{KL}}(P\parallel Q)}هو مقياس للمعلومات المكتسبة من خلال مراجعة معتقدات الفرد من التوزيع الاحتمالي المسبق Q إلى التوزيع الاحتمالي اللاحق P. بعبارة أخرى، هو مقدار المعلومات المفقودة عند استخدام Q لتقريب P. [ 17 ]

هندسة المعلومات

في التطبيقات، يُمثل P عادةً التوزيع "الحقيقي" للبيانات أو المشاهدات، أو توزيعًا نظريًا محسوبًا بدقة، بينما يُمثل Q عادةً نظريةً أو نموذجًا أو وصفًا أو تقريبًا لـ P. ولإيجاد توزيع Q الأقرب إلى P ، يُمكننا تقليل تباعد كولباك-لايبير وحساب إسقاط المعلومات .

على الرغم من أنها مسافة إحصائية ، إلا أنها ليست مقياسًا ، وهو النوع الأكثر شيوعًا للمسافة، بل هي تباعد . [ 4 ] في حين أن المقاييس متناظرة وتعمم المسافة الخطية ، محققةً متباينة المثلث ، فإن التباعدات غير متناظرة وتعمم المسافة التربيعية ، وفي بعض الحالات تحقق نظرية فيثاغورس المعممة . بشكل عامدكوالالمبور(P∥سؤال){\displaystyle D_{\text{KL}}(P\parallel Q)}لا يساويدكوالالمبور(سؤال∥P){\displaystyle D_{\text{KL}}(Q\parallel P)}ويُعدّ عدم التناظر جزءًا مهمًا من الهندسة. [ 4 ] يُعطي الشكل المتناهي الصغر للإنتروبيا النسبية، وتحديدًا مصفوفة هيسيان الخاصة بها، موترًا متريًا يُساوي مقياس معلومات فيشر ؛ انظر §  مقياس معلومات فيشر . يُحدد مقياس معلومات فيشر على توزيع احتمالي معين التدرج الطبيعي لخوارزميات التحسين الهندسي المعلوماتي. [ 18 ] نسخته الكمومية هي مقياس دراسة فوبيني. [ 19 ] تُحقق الإنتروبيا النسبية نظرية فيثاغورس المعممة للعائلات الأسية (المُفسَّرة هندسيًا على أنها مشعبات مسطحة ثنائية )، وهذا يسمح بتقليل الإنتروبيا النسبية بالوسائل الهندسية، على سبيل المثال عن طريق إسقاط المعلومات وفي تقدير الاحتمال الأقصى . [ 5 ]

الإنتروبيا النسبية هي تباعد بريغمان الناتج عن الإنتروبيا السالبة، ولكنها أيضًا على شكل تباعد من النوع f . بالنسبة للاحتمالات على أبجدية منتهية ، فهي فريدة من نوعها لكونها تنتمي إلى كلتا فئتي التباعدات الإحصائية هاتين . يمكن إيجاد تطبيق تباعد بريغمان في خوارزمية الانحدار المرآوي . [ 20 ]

التمويل (نظرية الألعاب)

لنفترض وجود مستثمر يسعى لتحقيق أقصى نمو في لعبة عادلة ذات نتائج حصرية متبادلة (مثل سباق خيل حيث مجموع الاحتمالات الرسمية يساوي واحدًا). ​​معدل العائد المتوقع لهذا المستثمر يساوي الإنتروبيا النسبية بين احتمالاته المُعتقدة والاحتمالات الرسمية. [ 21 ] هذه حالة خاصة من علاقة أعمّ بكثير بين العوائد المالية ومقاييس التباعد. [ 22 ]

ترتبط المخاطر المالية بـدكوالالمبور{\displaystyle D_{\text{KL}}}عبر هندسة المعلومات. [ 23 ] تشكل آراء المستثمرين، ورؤية السوق السائدة، والسيناريوهات المحفوفة بالمخاطر مثلثات على فضاء توزيعات الاحتمالات ذي الصلة. ويحدد شكل هذه المثلثات المخاطر المالية الرئيسية (نوعيًا وكميًا). فعلى سبيل المثال، تصف المثلثات المنفرجة، التي تظهر فيها آراء المستثمرين وسيناريوهات المخاطر على "جانبين متقابلين" بالنسبة للسوق، مخاطر سلبية، بينما تصف المثلثات الحادة تعرضًا إيجابيًا، ويتوافق الوضع القائم الزاوية في المنتصف مع انعدام المخاطر. وبتوسيع هذا المفهوم، يمكن افتراضيًا استخدام الإنتروبيا النسبية لتحديد سلوك المستثمرين المطلعين، إذا اعتبرنا أن هذا السلوك ممثل بحجم وانحرافات تدفقات الأموال عن التوقعات السابقة، على سبيل المثال. [ 24 ]

تحفيز

توضيح للإنتروبيا النسبية لتوزيعين طبيعيين . يظهر عدم التماثل النموذجي بوضوح.

في نظرية المعلومات، تنص نظرية كرافت-ماكميلان على أن أي نظام ترميز قابل للفك المباشر لترميز رسالة لتحديد قيمة واحدةxأنا{\displaystyle x_{i}}من بين مجموعة من الاحتمالات، يمكن اعتبار X بمثابة تمثيل لتوزيع احتمالي ضمنيq(xأنا)=2-ℓأنا{\displaystyle q(x_{i})=2^{-\ell _{i}}}على X ، حيثℓأنا{\displaystyle \ell _{i}}يمثل طول الكود لـxأنا{\displaystyle x_{i}}بالبتات. لذلك، يمكن تفسير الإنتروبيا النسبية على أنها طول الرسالة الإضافي المتوقع لكل معلومة يجب إرسالها إذا تم استخدام رمز مثالي لتوزيع معين (خاطئ) Q ، مقارنة باستخدام رمز يعتمد على التوزيع الحقيقي P : إنها الإنتروبيا الزائدة .

دكوالالمبور(P∥سؤال)=∑x∈Xص(x)سجل⁡1q(x)-∑x∈Xص(x)سجل⁡1ص(x)=ح(P،سؤال)-ح(P){\displaystyle {\begin{aligned}D_{\text{KL}}(P\parallel Q)&=\sum _{x\in {\mathcal {X}}}p(x)\log {\frac {1}{q(x)}}-\sum _{x\in {\mathcal {X}}}p(x)\log {\frac {1}{p(x)}}\\[5pt]&=\mathrm {H} (P,Q)-\mathrm {H} (P)\end{aligned}}}

أينح(P،سؤال){\displaystyle \mathrm {H} (P,Q)}هي الإنتروبيا المتقاطعة لـ Q بالنسبة إلى P وح(P){\displaystyle \mathrm {H} (P)}هي إنتروبيا P ( وهي نفسها إنتروبيا P المتقاطعة مع نفسها).

الإنتروبيا النسبيةدكوالالمبور(P∥سؤال){\displaystyle D_{\text{KL}}(P\parallel Q)}يمكن اعتبارها هندسيًا مسافة إحصائية ، أي مقياسًا لمدى بُعد التوزيع Q عن التوزيع P. هندسيًا، هي تباعد : شكل غير متماثل ومعمّم للمسافة التربيعية. الإنتروبيا المتقاطعةح(P،سؤال){\displaystyle H(P,Q)}هو نفسه قياس من هذا القبيل (رسميًا دالة خسارة )، لكن لا يمكن اعتباره مسافة، لأنح(P،P)=:ح(P){\displaystyle H(P,P)=:H(P)}ليست صفرًا. يمكن إصلاح ذلك عن طريق الطرح.ح(P){\displaystyle H(P)}لصنعدكوالالمبور(P∥سؤال){\displaystyle D_{\text{KL}}(P\parallel Q)}يتفق هذا بشكل أوثق مع مفهومنا للمسافة، باعتبارها الخسارة الزائدة . الدالة الناتجة غير متناظرة، ومع أنه يمكن جعلها متناظرة (انظر §  التباعد المتناظر )، إلا أن الشكل غير المتناظر أكثر فائدة. انظر §  التفسيرات لمزيد من المعلومات حول التفسير الهندسي.

ترتبط الإنتروبيا النسبية بـ " دالة المعدل " في نظرية الانحرافات الكبيرة . [ 25 ] [ 26 ]

أثبت آرثر هوبسون أن الإنتروبيا النسبية هي المقياس الوحيد للاختلاف بين التوزيعات الاحتمالية الذي يحقق بعض الخصائص المرغوبة، وهي امتداد أساسي لتلك التي تظهر في توصيف شائع الاستخدام للإنتروبيا . [ 27 ] ونتيجة لذلك، فإن المعلومات المتبادلة هي المقياس الوحيد للاعتماد المتبادل الذي يخضع لشروط معينة ذات صلة، حيث يمكن تعريفها بدلالة تباعد كولباك-لايبير .

ملكيات

  • الإنتروبيا النسبية دائماً غير سالبة ،دكوالالمبور(P∥سؤال)≥0،{\displaystyle D_{\text{KL}}(P\parallel Q)\geq 0,}نتيجة تُعرف باسم متباينة جيبس ، معدكوالالمبور(P∥سؤال){\displaystyle D_{\text{KL}}(P\parallel Q)}يساوي صفرًا إذا وفقط إذاP=سؤال{\displaystyle P=Q}كإجراءات.

على وجه الخصوص، إذاP(دx)=ص(x)μ(دx){\displaystyle P(dx)=p(x)\mu (dx)}وسؤال(دx)=q(x)μ(دx){\displaystyle Q(dx)=q(x)\mu (dx)}، ثمص(x)=q(x){\displaystyle p(x)=q(x)}μ{\displaystyle \mu }- في كل مكان تقريبًا . الإنتروبياح(P){\displaystyle \mathrm {H} (P)}وبالتالي يحدد قيمة دنيا للإنتروبيا المتقاطعةح(P،سؤال){\displaystyle \mathrm {H} (P,Q)}، وهو العدد المتوقع من البتات المطلوبة عند استخدام رمز يعتمد على Q بدلاً من P ؛ وبالتالي فإن تباعد كولباك-لايبير يمثل العدد المتوقع من البتات الإضافية التي يجب إرسالها لتحديد قيمة x مأخوذة من X ، إذا تم استخدام رمز يتوافق مع توزيع الاحتمالية Q ، بدلاً من التوزيع "الحقيقي" P.

  • لا يوجد حد أعلى للحالة العامة. ومع ذلك، فقد ثبت أنه إذا كان P و Q توزيعين احتماليين منفصلين تم إنشاؤهما بتوزيع نفس الكمية المنفصلة، ​​فإن القيمة القصوى لـدكوالالمبور(P∥سؤال){\displaystyle D_{\text{KL}}(P\parallel Q)}يمكن حسابها. [ 28 ]
  • يظل مفهوم الإنتروبيا النسبية محددًا جيدًا للتوزيعات المستمرة، كما أنه ثابت تحت تحويلات المعلمات . على سبيل المثال، إذا تم إجراء تحويل من المتغير x إلى المتغيرy(x){\displaystyle y(x)}إذن، بما أنP(دx)=ص(x)دx=ص~(y)دy=ص~(y(x))|دyدx(x)|دx{\displaystyle P(dx)=p(x)\,dx={\tilde {p}}(y)\,dy={\tilde {p}}(y(x))\left|{\tfrac {dy}{dx}}(x)\right|\,dx}وسؤال(دx)=q(x)دx=q~(y)دy=q~(y)|دyدx(x)|دx{\displaystyle Q(dx)=q(x)\,dx={\tilde {q}}(y)\,dy={\tilde {q}}(y)\left|{\tfrac {dy}{dx}}(x)\right|dx}أين|دyدx(x)|{\displaystyle \left|{\tfrac {dy}{dx}}(x)\right|}إذا كانت القيمة المطلقة للمشتقة أو بشكل أعم قيمة جاكوبيان ، فيمكن إعادة كتابة الإنتروبيا النسبية على النحو التالي:دكوالالمبور(P∥سؤال)=∫xأxبص(x)سجل⁡ص(x)q(x)دx=∫xأxبص~(y(x))|دyدx|سجل⁡ص~(y(x))|دyدx|q~(y(x))|دyدx|دx=∫yأyبص~(y)سجل⁡ص~(y)q~(y)دy{\displaystyle {\begin{aligned}D_{\text{KL}}(P\parallel Q)&=\int _{x_{a}}^{x_{b}}p(x)\,\log {\frac {p(x)}{q(x)}}\,dx\\[6pt]&=\int _{x_{a}}^{x_{b}}{\tilde {p}}(y(x))\left|{\frac {dy}{dx}}\right|\log {\frac {{\tilde {p}}(y(x))\,\left|{\frac {dy}{dx}}\right|}{{\tilde {q}}(y(x))\,\left|{\frac {dy}{dx}}\right|}}\,dx\\&=\int _{y_{a}}^{y_{b}}{\tilde {p}}(y)\,\log {\frac {{\tilde {p}}(y)}{{\tilde {q}}(y)}}\,dy\end{aligned}}}أينyأ=y(xأ){\displaystyle y_{a}=y(x_{a})}وyب=y(xب){\displaystyle y_{b}=y(x_{b})}على الرغم من افتراض أن التحويل متصل، إلا أن هذا ليس شرطًا. وهذا يُظهر أيضًا أن الإنتروبيا النسبية تُنتج كمية متسقة الأبعاد ، لأنه إذا كان x متغيرًا ذا أبعاد،ص(x){\displaystyle p(x)}وq(x){\displaystyle q(x)}يتم تحديد أبعادها أيضًا، على سبيل المثالP(دx)=ص(x)دx{\displaystyle P(dx)=p(x)\,dx}هو بلا أبعاد. وسيط الحد اللوغاريتمي هو بلا أبعاد، ويبقى كذلك، كما ينبغي. ولذلك، يمكن اعتباره، من بعض النواحي، كميةً أكثر جوهرية من بعض الخصائص الأخرى في نظرية المعلومات [ 29 ] (مثل المعلومات الذاتية أو إنتروبيا شانون )، والتي قد تصبح غير مُعرَّفة أو سالبة بالنسبة للاحتمالات غير المنفصلة.
  • تكون الإنتروبيا النسبية جمعية للتوزيعات المستقلة بنفس طريقة إنتروبيا شانون. إذاP1،P2{\displaystyle P_{1},P_{2}}هي توزيعات مستقلة، وP(دx،دy)=P1(دx)P2(دy){\displaystyle P(dx,dy)=P_{1}(dx)P_{2}(dy)}وبالمثلسؤال(دx،دy)=سؤال1(دx)سؤال2(دy){\displaystyle Q(dx,dy)=Q_{1}(dx)Q_{2}(dy)}بالنسبة للتوزيعات المستقلةسؤال1،سؤال2{\displaystyle Q_{1},Q_{2}}ثمدكوالالمبور(P∥سؤال)=دكوالالمبور(P1∥سؤال1)+دكوالالمبور(P2∥سؤال2).{\displaystyle D_{\text{KL}}(P\parallel Q)=D_{\text{KL}}(P_{1}\parallel Q_{1})+D_{\text{KL}}(P_{2}\parallel Q_{2}).}
  • الإنتروبيا النسبيةدكوالالمبور(P∥سؤال){\displaystyle D_{\text{KL}}(P\parallel Q)}محدبة في زوج مقاييس الاحتمال(P،سؤال){\displaystyle (P,Q)}أي إذا(P1،سؤال1){\displaystyle (P_{1},Q_{1})}و(P2،سؤال2){\displaystyle (P_{2},Q_{2})}إذا كان لدينا زوجان من مقاييس الاحتمال،دكوالالمبور(λP1+(1-λ)P2∥λسؤال1+(1-λ)سؤال2)≤λدكوالالمبور(P1∥سؤال1)+(1-λ)دكوالالمبور(P2∥سؤال2) ل 0≤λ≤1.{\displaystyle D_{\text{KL}}(\lambda P_{1}+(1-\lambda )P_{2}\parallel \lambda Q_{1}+(1-\lambda )Q_{2})\leq \lambda D_{\text{KL}}(P_{1}\parallel Q_{1})+(1-\lambda )D_{\text{KL}}(P_{2}\parallel Q_{2}){\text{ for }}0\leq \lambda \leq 1.}
  • دكوالالمبور(P∥سؤال){\displaystyle D_{\text{KL}}(P\parallel Q)}قد يكون تايلور قد توسع حول الحد الأدنى (أيP=سؤال{\displaystyle P=Q}) مثلدكوالالمبور(P∥سؤال)=∑ن=2∞1ن(ن-1)∑x∈X(سؤال(x)-P(x))نسؤال(x)ن-1{\displaystyle D_{\text{KL}}(P\parallel Q)=\sum _{n=2}^{\infty }{\frac {1}{n(n-1)}}\sum _{x\in {\mathcal {X}}}{\frac {(Q(x)-P(x))^{n}}{Q(x)^{n-1}}}}والتي تتقارب إذا وفقط إذاP≤2سؤال{\displaystyle P\leq 2Q}شبه مؤكد فيما يتعلقسؤال{\displaystyle Q}.
[دليل]

دلو(α):=دكوالالمبور((1-α)سؤال+αP∥سؤال){\displaystyle f(\alpha ):=D_{\text{KL}}((1-\alpha )Q+\alpha P\parallel Q)}ولاحظ أندكوالالمبور(P∥سؤال)=و(1){\displaystyle D_{\text{KL}}(P\parallel Q)=f(1)}المشتق الأول لـو{\displaystyle f}يمكن اشتقاقها وتقييمها على النحو التالي و′(α)=∑x∈X(P(x)-سؤال(x))(سجل⁡((1-α)سؤال(x)+αP(x)سؤال(x))+1)=∑x∈X(P(x)-سؤال(x))سجل⁡((1-α)سؤال(x)+αP(x)سؤال(x))و′(0)=0{\displaystyle {\begin{aligned}f'(\alpha )&=\sum _{x\in {\mathcal {X}}}(P(x)-Q(x))\left(\log \left({\frac {(1-\alpha )Q(x)+\alpha P(x)}{Q(x)}}\right)+1\right)\\&=\sum _{x\in {\mathcal {X}}}(P(x)-Q(x))\log \left({\frac {(1-\alpha )Q(x)+\alpha P(x)}{Q(x)}}\right)\\f'(0)&=0\end{aligned}}} يمكن اشتقاق وتقييم مشتقات أخرى على النحو التالي و"(α)=∑x∈X(P(x)-سؤال(x))2(1-α)سؤال(x)+αP(x)و"(0)=∑x∈X(P(x)-سؤال(x))2سؤال(x)و(ن)(α)=(-1)ن(ن-2)!∑x∈X(P(x)-سؤال(x))ن((1-α)سؤال(x)+αP(x))ن-1و(ن)(0)=(-1)ن(ن-2)!∑x∈X(P(x)-سؤال(x))نسؤال(x)ن-1{\displaystyle {\begin{aligned}f''(\alpha )&=\sum _{x\in {\mathcal {X}}}{\frac {(P(x)-Q(x))^{2}}{(1-\alpha )Q(x)+\alpha P(x)}}\\f''(0)&=\sum _{x\in {\mathcal {X}}}{\frac {(P(x)-Q(x))^{2}}{Q(x)}}\\f^{(n)}(\alpha )&=(-1)^{n}(n-2)!\sum _{x\in {\mathcal {X}}}{\frac {(P(x)-Q(x))^{n}}{\left((1-\alpha )Q(x)+\alpha P(x)\right)^{n-1}}}\\f^{(n)}(0)&=(-1)^{n}(n-2)!\sum _{x\in {\mathcal {X}}}{\frac {(P(x)-Q(x))^{n}}{Q(x)^{n-1}}}\end{aligned}}} وبالتالي حل المعادلةدكوالالمبور(P∥سؤال){\displaystyle D_{\text{KL}}(P\parallel Q)}عن طريق توسيع تايلور لـو{\displaystyle f}عن0{\displaystyle 0}تم تقييمها فيα=1{\displaystyle \alpha =1}العائد دكوالالمبور(P∥سؤال)=∑ن=0∞و(ن)(0)ن!=∑ن=2∞1ن(ن-1)∑x∈X(سؤال(x)-P(x))نسؤال(x)ن-1{\displaystyle {\begin{aligned}D_{\text{KL}}(P\parallel Q)&=\sum _{n=0}^{\infty }{\frac {f^{(n)}(0)}{n!}}\\&=\sum _{n=2}^{\infty }{\frac {1}{n(n-1)}}\sum _{x\in {\mathcal {X}}}{\frac {(Q(x)-P(x))^{n}}{Q(x)^{n-1}}}\end{aligned}}}P≤2سؤال{\displaystyle P\leq 2Q}كما هو شرط كافٍ لتقارب المتسلسلة وفقًا لحجة التقارب المطلق التالية ∑ن=2∞|1ن(ن-1)∑x∈X(سؤال(x)-P(x))نسؤال(x)ن-1|=∑ن=2∞1ن(ن-1)∑x∈X|سؤال(x)-P(x)||1-P(x)سؤال(x)|ن-1≤∑ن=2∞1ن(ن-1)∑x∈X|سؤال(x)-P(x)|≤∑ن=2∞1ن(ن-1)=1{\displaystyle {\begin{aligned}\sum _{n=2}^{\infty }\left\vert {\frac {1}{n(n-1)}}\sum _{x\in {\mathcal {X}}}{\frac {(Q(x)-P(x))^{n}}{Q(x)^{n-1}}}\right\vert &=\sum _{n=2}^{\infty }{\frac {1}{n(n-1)}}\sum _{x\in {\mathcal {X}}}\left\vert Q(x)-P(x)\right\vert \left\vert 1-{\frac {P(x)}{Q(x)}}\right\vert ^{n-1}\\&\leq \sum _{n=2}^{\infty }{\frac {1}{n(n-1)}}\sum _{x\in {\mathcal {X}}}\left\vert Q(x)-P(x)\right\vert \\&\leq \sum _{n=2}^{\infty }{\frac {1}{n(n-1)}}\\&=1\end{aligned}}}P≤2سؤال{\displaystyle P\leq 2Q}كما أن هذا شرط ضروري لتقارب المتسلسلة، وذلك وفقًا للبرهان التالي بالتناقض. افترض أنP>2سؤال{\displaystyle P>2Q}مع قياس أكبر من0{\displaystyle 0}ويترتب على ذلك أنه لا بد من وجود بعض القيمε>0{\displaystyle \varepsilon >0}،ρ>0{\displaystyle \rho >0}، ويو<∞{\displaystyle U<\infty }بحيثP≥2سؤال+ε{\displaystyle P\geq 2Q+\varepsilon }وسؤال≤يو{\displaystyle Q\leq U}مع القياسρ{\displaystyle \rho }أثبت البرهان السابق على الكفاية أن المقياس1-ρ{\displaystyle 1-\rho }مكون من السلسلة حيثP≤2سؤال{\displaystyle P\leq 2Q}بما أن المقياس محدود، فلا داعي إلا للاهتمام بسلوك المقياس.ρ{\displaystyle \rho }مكون من السلسلة حيثP≥2سؤال+ε{\displaystyle P\geq 2Q+\varepsilon }القيمة المطلقة لـن{\displaystyle n}يكون الحد النوني لهذا المكون من المتسلسلة محدودًا من الأسفل بـ1ن(ن-1)ρ(1+εيو)ن{\displaystyle {\frac {1}{n(n-1)}}\rho \left(1+{\frac {\varepsilon }{U}}\right)^{n}}، وهو غير محدود مثلن→∞{\displaystyle n\to \infty }لذا فإن السلسلة تتباعد.

صيغة الازدواجية للاستدلال التبايني

النتيجة التالية، التي تعود إلى دونسكر وفارادان، [ 30 ] تُعرف باسم صيغة دونسكر وفارادان التباينية .

نظرية [صيغة الازدواجية للاستدلال التبايني] — ليكنΘ{\displaystyle \Theta }أن تكون مجموعة مزودة بـσ{\displaystyle \sigma }-مجالF{\displaystyle {\mathcal {F}}}ومقياسان احتماليان P و Q ، اللذان يشكلان فضاءين احتماليين(Θ،F،P){\displaystyle (\Theta ,{\mathcal {F}},P)}و(Θ،F،سؤال){\displaystyle (\Theta ,{\mathcal {F}},Q)}، معسؤال≪P{\displaystyle Q\ll P}. (سؤال≪P{\displaystyle Q\ll P}يشير هذا إلى أن Q متصلة اتصالاً مطلقاً بالنسبة إلى P. ليكن h متغيرًا عشوائيًا حقيقيًا قابلًا للتكامل على(Θ،F،P){\displaystyle (\Theta ,{\mathcal {F}},P)}ثم تتحقق المساواة التالية

سجل⁡هـP[خبرة⁡ح]=رشفةسؤال≪P⁡{هـسؤال[ح]-دكوالالمبور(سؤال∥P)}.{\displaystyle \log E_{P}[\exp h]=\operatorname {sup} _{Q\ll P}\{E_{Q}[h]-D_{\text{KL}}(Q\parallel P)\}{\text{.}}}

علاوة على ذلك، يتم الوصول إلى القيمة العليا على الجانب الأيمن إذا وفقط إذا كانت صحيحة

سؤال(دθ)P(دθ)=خبرة⁡ح(θ)هـP[خبرة⁡ح]،{\displaystyle {\frac {Q(d\theta )}{P(d\theta )}}={\frac {\exp h(\theta )}{E_{P}[\exp h]}}{\text{,}}}

شبه مؤكد بالنسبة لمقياس الاحتمال P ، حيثسؤال(دθ)P(دθ){\displaystyle {\frac {Q(d\theta )}{P(d\theta )}}}يشير إلى مشتق رادون-نيكوديم لـ Q بالنسبة إلى P.

دليل

للحصول على برهان قصير بافتراض قابلية التكامل لـخبرة⁡(ح){\displaystyle \exp(h)}بالنسبة إلى P ، لنفترضسؤال*{\displaystyle Q^{*}}كثافة P​خبرة⁡ح(θ)هـP[خبرة⁡ح]{\displaystyle {\frac {\exp h(\theta )}{E_{P}[\exp h]}}}، أيسؤال*(دθ)=خبرة⁡ح(θ)هـP[خبرة⁡ح]P(دθ){\displaystyle Q^{*}(d\theta )={\frac {\exp h(\theta )}{E_{P}[\exp h]}}P(d\theta )}ثم

دكوالالمبور(سؤال∥سؤال*)-دكوالالمبور(سؤال∥P)=-هـسؤال[ح]+سجل⁡هـP[خبرة⁡ح].{\displaystyle D_{\text{KL}}(Q\parallel Q^{*})-D_{\text{KL}}(Q\parallel P)=-E_{Q}[h]+\log E_{P}[\exp h]{\text{.}}}

لذلك،

هـسؤال[ح]-دكوالالمبور(سؤال∥P)=سجل⁡هـP[خبرة⁡ح]-دكوالالمبور(سؤال∥سؤال*)≤سجل⁡هـP[خبرة⁡ح]،{\displaystyle E_{Q}[h]-D_{\text{KL}}(Q\parallel P)=\log E_{P}[\exp h]-D_{\text{KL}}(Q\parallel Q^{*})\leq \log E_{P}[\exp h]{\text{,}}}

حيث تتبع المتباينة الأخيرة مندكوالالمبور(سؤال∥سؤال*)≥0{\displaystyle D_{\text{KL}}(Q\parallel Q^{*})\geq 0}، والتي تتحقق فيها المساواة إذا وفقط إذاسؤال=سؤال*{\displaystyle Q=Q^{*}}والخلاصة تلي ذلك.

أمثلة

التوزيعات الطبيعية متعددة المتغيرات

لنفترض أن لدينا توزيعين طبيعيين متعدد المتغيرات ، بمتوسطاتμ0،μ1{\displaystyle \mu _{0},\mu _{1}}وباستخدام مصفوفات التغاير (غير المنفردة)Σ0،Σ1.{\displaystyle \Sigma _{0},\Sigma _{1}.}إذا كان للتوزيعين نفس البعد، k ، فإن الإنتروبيا النسبية بين التوزيعين تكون كما يلي: [ 31 ]

دكوالالمبور(شمال0∥شمال1)=12[tr⁡(Σ1-1Σ0)-ك+(μ1-μ0)تيΣ1-1(μ1-μ0)+ln⁡المحققΣ1المحققΣ0].{\displaystyle D_{\text{KL}}\left({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1}\right)={\frac {1}{2}}\left[\operatorname {tr} \left(\Sigma _{1}^{-1}\Sigma _{0}\right)-k+\left(\mu _{1}-\mu _{0}\right)^{\mathsf {T}}\Sigma _{1}^{-1}\left(\mu _{1}-\mu _{0}\right)+\ln {\frac {\det \Sigma _{1}}{\det \Sigma _{0}}}\right]{\text{.}}}

يجب أخذ اللوغاريتم في الحد الأخير للأساس e ، لأن جميع الحدود باستثناء الأخير هي لوغاريتمات للأساس e لتعبيرات إما أنها عوامل لدالة الكثافة أو تنشأ بشكل طبيعي. وبالتالي، تعطي المعادلة نتيجة مقاسة بوحدة نات . بقسمة التعبير أعلاه بالكامل علىln⁡(2){\displaystyle \ln(2)}ينتج عنه التباين بالبتات .

في التطبيق العددي، من المفيد التعبير عن النتيجة بدلالة تحليلات تشوليسكي.ل0،ل1{\displaystyle L_{0},L_{1}}بحيثΣ0=ل0ل0تي{\displaystyle \Sigma _{0}=L_{0}L_{0}^{T}}وΣ1=ل1ل1تي{\displaystyle \Sigma _{1}=L_{1}L_{1}^{T}}ثم باستخدام M و y حلول الأنظمة الخطية المثلثيةل1م=ل0{\displaystyle L_{1}M=L_{0}}، ول1y=μ1-μ0{\displaystyle L_{1}y=\mu _{1}-\mu _{0}}،

دكوالالمبور(شمال0∥شمال1)=12(∑أنا،ج=1ك(مأناج)2-ك+|y|2+2∑أنا=1كln⁡(ل1)أناأنا(ل0)أناأنا).{\displaystyle D_{\text{KL}}\left({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1}\right)={\frac {1}{2}}\left(\sum _{i,j=1}^{k}{\left(M_{ij}\right)}^{2}-k+|y|^{2}+2\sum _{i=1}^{k}\ln {\frac {(L_{1})_{ii}}{(L_{0})_{ii}}}\right){\text{.}}}

تُعد الإنتروبيا النسبية بين التوزيع الطبيعي متعدد المتغيرات القطري والتوزيع الطبيعي القياسي (بمتوسط ​​صفر وتباين يساوي واحدًا) حالة خاصة وكمية شائعة في الاستدلال التبايني :

دكوالالمبور(شمال((μ1،...،μك)تي،التشخيص⁡(σ12،...،σك2))∥شمال(0،أنا))=12∑أنا=1ك[σأنا2+μأنا2-1-ln⁡(σأنا2)].{\displaystyle D_{\text{KL}}\left({\mathcal {N}}\left(\left(\mu _{1},\ldots ,\mu _{k}\right)^{\mathsf {T}},\operatorname {diag} \left(\sigma _{1}^{2},\ldots ,\sigma _{k}^{2}\right)\right)\parallel {\mathcal {N}}\left(\mathbf {0} ,\mathbf {I} \right)\right)={\frac {1}{2}}\sum _{i=1}^{k}\left[\sigma _{i}^{2}+\mu _{i}^{2}-1-\ln \left(\sigma _{i}^{2}\right)\right]{\text{.}}}

بالنسبة لتوزيعين طبيعيين أحاديي المتغير p و q، فإن ما سبق يتبسط إلى [ 32 ]دكوالالمبور(ص∥q)=سجل⁡σ1σ0+σ02+(μ0-μ1)22σ12-12{\displaystyle D_{\text{KL}}\left({\mathcal {p}}\parallel {\mathcal {q}}\right)=\log {\frac {\sigma _{1}}{\sigma _{0}}}+{\frac {\sigma _{0}^{2}+{\left(\mu _{0}-\mu _{1}\right)}^{2}}{2\sigma _{1}^{2}}}-{\frac {1}{2}}}

في حالة التوزيعات الطبيعية المتمركزة معك=σ1/σ0{\displaystyle k=\sigma _{1}/\sigma _{0}}وهذا يبسط [ 33 ] إلى:

دكوالالمبور(ص∥q)=سجل2⁡ك+(ك-2-1)/2/ln⁡(2)بأناتs{\displaystyle D_{\text{KL}}\left({\mathcal {p}}\parallel {\mathcal {q}}\right)=\log _{2}k+(k^{-2}-1)/2/\ln(2)\mathrm {bits} }

التوزيعات المنتظمة

لنفترض وجود توزيعين منتظمين، مع نطاقص=[أ،ب]{\displaystyle p=[A,B]}مُحاطة بـq=[ج،د]{\displaystyle q=[C,D]}(ج≤أ<ب≤د{\displaystyle C\leq A<B\leq D}ثم يكون مقدار المعلومات المكتسبة كالتالي:

دكوالالمبور(ص∥q)=سجل⁡د-جب-أ{\displaystyle D_{\text{KL}}\left({\mathcal {p}}\parallel {\mathcal {q}}\right)=\log {\frac {D-C}{B-A}}}

بشكل بديهي، [ 33 ] يحتوي كسب المعلومات لتوزيع منتظم أضيق بمقدار k مرة علىسجل2⁡ك{\displaystyle \log _{2}k}البتات. يرتبط هذا باستخدام البتات في الحوسبة، حيثسجل2⁡ك{\displaystyle \log _{2}k}ستكون هناك حاجة إلى بتات لتحديد عنصر واحد من سلسلة طويلة طولها k .

عائلة الدوال الأسية

تُعطى عائلة التوزيعات الأسية بالصيغة التالية :

صX(x|θ)=ح(x)خبرة⁡(θتيتي(x)-أ(θ)){\displaystyle p_{X}(x|\theta )=h(x)\exp \left(\theta ^{\mathsf {T}}T(x)-A(\theta )\right)}

أينح(x){\displaystyle h(x)}هو مقياس مرجعي،تي(x){\displaystyle T(x)}إحصائيات كافية ،θ{\displaystyle \theta }هي معلمات طبيعية أساسية، وأ(θ){\displaystyle A(\theta )}هي دالة التقسيم اللوغاريتمي.

تباعد كولباك-لايبير بين توزيعينص(x|θ1){\displaystyle p(x|\theta _{1})}وص(x|θ2){\displaystyle p(x|\theta _{2})}يتم تحديده بواسطة [ 34 ]

دكوالالمبور(θ1∥θ2)=(θ1-θ2)تيμ1-أ(θ1)+أ(θ2){\displaystyle D_{\text{KL}}(\theta _{1}\parallel \theta _{2})={\left(\theta _{1}-\theta _{2}\right)}^{\mathsf {T}}\mu _{1}-A(\theta _{1})+A(\theta _{2})}

أينμ1=هـθ1[تي(X)]=∇أ(θ1){\displaystyle \mu _{1}=E_{\theta _{1}}[T(X)]=\nabla A(\theta _{1})}هو متوسط ​​المعلمة لـص(x|θ1){\displaystyle p(x|\theta _{1})}.

على سبيل المثال، بالنسبة لتوزيع بواسون ذي المتوسطλ{\displaystyle \lambda }الإحصاءات الكافيةتي(x)=x{\displaystyle T(x)=x}، المعلمة الطبيعيةθ=سجل⁡λ{\displaystyle \theta =\log \lambda }ودالة تقسيم السجلأ(θ)=هـθ{\displaystyle A(\theta )=e^{\theta }}وبالتالي، فإن التباعد بين توزيعين من نوع بواسون بمتوسطاتλ1{\displaystyle \lambda _{1}}وλ2{\displaystyle \lambda _{2}}يكون

دكوالالمبور(λ1∥λ2)=λ1سجل⁡λ1λ2-λ1+λ2.{\displaystyle D_{\text{KL}}(\lambda _{1}\parallel \lambda _{2})=\lambda _{1}\log {\frac {\lambda _{1}}{\lambda _{2}}}-\lambda _{1}+\lambda _{2}{\text{.}}}

كمثال آخر، بالنسبة للتوزيع الطبيعي ذي التباين الواحدشمال(μ،1){\displaystyle N(\mu ,1)}الإحصاءات الكافيةتي(x)=x{\displaystyle T(x)=x}، المعلمة الطبيعيةθ=μ{\displaystyle \theta =\mu }ودالة تقسيم السجلأ(θ)=μ2/2{\displaystyle A(\theta )=\mu ^{2}/2}وبالتالي، فإن التباعد بين توزيعين طبيعيينشمال(μ1،1){\displaystyle N(\mu _{1},1)}وشمال(μ2،1){\displaystyle N(\mu _{2},1)}يكون

دكوالالمبور(μ1∥μ2)=(μ1-μ2)μ1-μ122+μ222=(μ2-μ1)22.{\displaystyle D_{\text{KL}}(\mu _{1}\parallel \mu _{2})=\left(\mu _{1}-\mu _{2}\right)\mu _{1}-{\frac {\mu _{1}^{2}}{2}}+{\frac {\mu _{2}^{2}}{2}}={\frac {{\left(\mu _{2}-\mu _{1}\right)}^{2}}{2}}{\text{.}}}

كمثال أخير، التباعد بين التوزيع الطبيعي ذي التباين الواحدشمال(μ،1){\displaystyle N(\mu ,1)}وتوزيع بواسون بمتوسطλ{\displaystyle \lambda }يكون

دكوالالمبور(μ∥λ)=(μ-سجل⁡λ)μ-μ22+λ.{\displaystyle D_{\text{KL}}(\mu \parallel \lambda )=(\mu -\log \lambda )\mu -{\frac {\mu ^{2}}{2}}+\lambda {\text{.}}}

العلاقة بالمقاييس

على الرغم من أن الإنتروبيا النسبية هي مسافة إحصائية ، إلا أنها ليست مقياسًا على فضاء التوزيعات الاحتمالية، بل هي تباعد . [ 4 ] في حين أن المقاييس متناظرة وتعمم المسافة الخطية ، محققةً متباينة المثلث ، فإن التباعدات غير متناظرة بشكل عام وتعمم المسافة التربيعية ، وفي بعض الحالات تحقق نظرية فيثاغورس المعممة .دكوالالمبور(P∥سؤال){\displaystyle D_{\text{KL}}(P\parallel Q)}لا يساويدكوالالمبور(سؤال∥P){\displaystyle D_{\text{KL}}(Q\parallel P)}وبينما يمكن جعل هذا متناظراً (انظر §  التباعد المتناظر )، فإن عدم التناظر يمثل جزءًا مهمًا من الهندسة. [ 4 ]

يُنشئ هذا بنيةً طوبولوجيةً على فضاء التوزيعات الاحتمالية . وبشكلٍ أكثر تحديدًا، إذا{P1،P2،...}{\displaystyle \{P_{1},P_{2},\ldots \}}هي سلسلة من التوزيعات بحيث

ليمن→∞دكوالالمبور(Pن∥سؤال)=0،{\displaystyle \lim _{n\to \infty }D_{\text{KL}}(P_{n}\parallel Q)=0{\text{,}}}

ثم يقال أن

Pن→دسؤال.{\displaystyle P_{n}\xrightarrow {D} \,Q{\text{.}}}

يستلزم عدم المساواة عند بينسكر ما يلي:

Pن→دP⇒Pن→تيVP،{\displaystyle P_{n}\xrightarrow {D} P\Rightarrow P_{n}\xrightarrow {TV} P{\text{,}}}

حيث يشير الأخير إلى التقارب المعتاد في التباين الكلي .

مقياس معلومات فيشر

يرتبط الإنتروبيا النسبية ارتباطًا مباشرًا بمقياس معلومات فيشر . ويمكن توضيح ذلك كما يلي: لنفترض أن توزيعات الاحتمال P و Q يتم تحديدها بواسطة معلمة ما (قد تكون متعددة الأبعاد).θ{\displaystyle \theta }لنفترض إذن قيمتين متقاربتين لـP=P(θ){\displaystyle P=P(\theta )}وسؤال=P(θ0){\displaystyle Q=P(\theta _{0})}بحيث يكون المعاملθ{\displaystyle \theta }لا يختلف إلا بمقدار ضئيل عن قيمة المعلمةθ0{\displaystyle \theta _{0}}. على وجه التحديد، حتى الرتبة الأولى، يكون لدينا (باستخدام اصطلاح جمع أينشتاين ) P(θ)=P(θ0)+ΔθجPج(θ0)+⋯{\displaystyle P(\theta )=P(\theta _{0})+\Delta \theta _{j}\,P_{j}(\theta _{0})+\cdots }

معΔθج=(θ-θ0)ج{\displaystyle \Delta \theta _{j}=(\theta -\theta _{0})_{j}}تغيير طفيف فيθ{\displaystyle \theta }في اتجاه j ، وPج(θ0)=∂P∂θج(θ0){\displaystyle P_{j}\left(\theta _{0}\right)={\frac {\partial P}{\partial \theta _{j}}}(\theta _{0})}معدل التغير المقابل في توزيع الاحتمالات. بما أن الإنتروبيا النسبية لها قيمة دنيا مطلقة تساوي صفرًا لـP=سؤال{\displaystyle P=Q}، أيθ=θ0{\displaystyle \theta =\theta _{0}}، ولا يتغير إلا إلى الدرجة الثانية في المعاملات الصغيرةΔθج{\displaystyle \Delta \theta _{j}}بصورة أكثر رسمية، كما هو الحال بالنسبة لأي قيمة دنيا، فإن المشتقات الأولى للتباعد تتلاشى

∂∂θج|θ=θ0دكوالالمبور(P(θ)∥P(θ0))=0،{\displaystyle \left.{\frac {\partial }{\partial \theta _{j}}}\right|_{\theta =\theta _{0}}D_{\text{KL}}(P(\theta )\parallel P(\theta _{0}))=0,}

وباستخدام توسيع تايلور ، يمكن الوصول إلى الرتبة الثانية

دكوالالمبور(P(θ)∥P(θ0))=12ΔθجΔθكزجك(θ0)+⋯{\displaystyle D_{\text{KL}}(P(\theta )\parallel P(\theta _{0}))={\frac {1}{2}}\,\Delta \theta _{j}\,\Delta \theta _{k}\,g_{jk}(\theta _{0})+\cdots }

حيث مصفوفة هيسيان للتباعد

زجك(θ0)=∂2∂θج∂θك|θ=θ0دكوالالمبور(P(θ)∥P(θ0)){\displaystyle g_{jk}(\theta _{0})=\left.{\frac {\partial ^{2}}{\partial \theta _{j}\,\partial \theta _{k}}}\right|_{\theta =\theta _{0}}D_{\text{KL}}(P(\theta )\parallel P(\theta _{0}))}

يجب أن تكون شبه محددة موجبة . بفرضθ0{\displaystyle \theta _{0}}قم بتغيير (وحذف الفهرس الفرعي 0) مصفوفة هيسيانزجك(θ){\displaystyle g_{jk}(\theta )}يحدد مقياس ريماني (ربما يكون متدهورًا) على فضاء المعلمات θ ، ويسمى مقياس معلومات فيشر.

نظرية مقياس معلومات فيشر

توجد نظرية مرتبطة بذلك. [ 3 ] عندماص(x،ρ){\displaystyle p_{(x,\rho )}}يستوفي شروط الانتظام التالية:

∂سجل⁡(ص)∂ρ،∂2سجل⁡(ص)∂ρ2،∂3سجل⁡(ص)∂ρ3{\displaystyle {\frac {\partial \log(p)}{\partial \rho }},{\frac {\partial ^{2}\log(p)}{\partial \rho ^{2}}},{\frac {\partial ^{3}\log(p)}{\partial \rho ^{3}}}}يخرج، |∂ص∂ρ|<F(x):∫x=0∞F(x)دx<∞،|∂2ص∂ρ2|<جي(x):∫x=0∞جي(x)دx<∞|∂3سجل⁡(ص)∂ρ3|<ح(x):∫x=0∞ص(x،0)ح(x)دx<ξ<∞{\displaystyle {\begin{aligned}\left|{\frac {\partial p}{\partial \rho }}\right|&<F(x):\int _{x=0}^{\infty }F(x)\,dx<\infty ,\\\left|{\frac {\partial ^{2}p}{\partial \rho ^{2}}}\right|&<G(x):\int _{x=0}^{\infty }G(x)\,dx<\infty \\\left|{\frac {\partial ^{3}\log(p)}{\partial \rho ^{3}}}\right|&<H(x):\int _{x=0}^{\infty }p(x,0)H(x)\,dx<\xi <\infty \end{aligned}}}

حيث أن ξ مستقلة عن ρ∫x=0∞∂ص(x،ρ)∂ρ|ρ=0دx=∫x=0∞∂2ص(x،ρ)∂ρ2|ρ=0دx=0{\displaystyle \left.\int _{x=0}^{\infty }{\frac {\partial p(x,\rho )}{\partial \rho }}\right|_{\rho =0}\,dx=\left.\int _{x=0}^{\infty }{\frac {\partial ^{2}p(x,\rho )}{\partial \rho ^{2}}}\right|_{\rho =0}\,dx=0}

ثم: د(ص(x،0)∥ص(x،ρ))=جρ22+يا(ρ3) مثل ρ→0.{\displaystyle {\mathcal {D}}(p(x,0)\parallel p(x,\rho ))={\frac {c\rho ^{2}}{2}}+{\mathcal {O}}\left(\rho ^{3}\right){\text{ as }}\rho \to 0{\text{.}}}

تنوع المعلومات

مقياس آخر في نظرية المعلومات هو تباين المعلومات ، وهو تقريبًا تماثل للإنتروبيا الشرطية . وهو مقياس على مجموعة تجزئات فضاء احتمالي منفصل .

موف متري

يُعدّ MAUVE مقياسًا للفجوة الإحصائية بين توزيعين نصيين، مثل الفرق بين النص المُولّد بواسطة نموذج والنص المكتوب بواسطة الإنسان. ويُحسب هذا المقياس باستخدام تباعدات كولباك-لايبير بين التوزيعين في فضاء تضمين كمي لنموذج أساسي .

العلاقة بكميات أخرى في نظرية المعلومات

يمكن تفسير العديد من الكميات الأخرى لنظرية المعلومات على أنها تطبيقات للإنتروبيا النسبية على حالات محددة.

المعلومات الذاتية

تُعرف المعلومات الذاتية ، والمعروفة أيضًا باسم محتوى المعلومات لإشارة أو متغير عشوائي أو حدث، بأنها اللوغاريتم السالب لاحتمالية حدوث النتيجة المعطاة.

عند تطبيقها على متغير عشوائي منفصل ، يمكن تمثيل المعلومات الذاتية على النحو التالي:

أنا⁡(م)=دكوالالمبور(دلتاأنا∥{صأنا})،{\displaystyle \operatorname {\operatorname {I} } (m)=D_{\text{KL}}\left(\delta _{\text{im}}\parallel \{p_{i}\}\right),}

هي الإنتروبيا النسبية لتوزيع الاحتماليةP(أنا){\displaystyle P(i)}من دلتا كرونكر التي تمثل اليقين بأنأنا=م{\displaystyle i=m}— أي عدد البتات الإضافية التي يجب إرسالها لتحديد هوية i إذا كان التوزيع الاحتمالي فقطP(أنا){\displaystyle P(i)}الأمر متاح للمتلقي، وليس حقيقة أنأنا=م{\displaystyle i=m}.

المعلومات المتبادلة

المعلومات المتبادلة ،

أنا⁡(X؛Y)=دكوالالمبور(PX،Y∥PX⋅PY)=هـX⁡[دكوالالمبورY(PY|X∥PY)]=هـY⁡[دكوالالمبورX(PX|Y∥PX)]{\displaystyle {\begin{aligned}\operatorname {I} (X;Y)&=D_{\text{KL}}(P_{X,Y}\parallel P_{X}\cdot P_{Y})\\&=\operatorname {E} _{X}[D_{\text{KL}}^{Y}(P_{Y\mid X}\parallel P_{Y})]\\&=\operatorname {E} _{Y}[D_{\text{KL}}^{X}(P_{X\mid Y}\parallel P_{X})]\end{aligned}}}

هي الإنتروبيا النسبية لتوزيع الاحتمال المشتركPX،Y(x،y){\displaystyle P_{X,Y}(x,y)}من المنتج(PX⋅PY)(x،y)=PX(x)PY(y){\displaystyle (P_{X}\cdot P_{Y})(x,y)=P_{X}(x)P_{Y}(y)}من التوزيعين الاحتماليين الهامشيين - أي العدد المتوقع من البتات الإضافية التي يجب إرسالها لتحديد X و Y إذا تم ترميزهما باستخدام توزيعاتهما الهامشية فقط بدلاً من التوزيع المشترك.

إنتروبيا شانون

إنتروبيا شانون ،

ح(X)=هـ⁡[أناX⁡(x)]=سجل⁡شمال-دكوالالمبور(صX(x)∥Pيو(X)){\displaystyle {\begin{aligned}\mathrm {H} (X)&=\operatorname {E} \left[\operatorname {I} _{X}(x)\right]\\&=\log N-D_{\text{KL}}{\left(p_{X}(x)\parallel P_{U}(X)\right)}\end{aligned}}}

يمثل عدد البتات التي يجب إرسالها لتحديد X من بين N احتمالات متساوية، مطروحًا منها الإنتروبيا النسبية للتوزيع المنتظم على المتغيرات العشوائية لـ X.Pيو(X){\displaystyle P_{U}(X)}، من التوزيع الحقيقيP(X){\displaystyle P(X)}— أي أقل من العدد المتوقع للبتات المحفوظة، والتي كان يجب إرسالها إذا تم ترميز قيمة X وفقًا للتوزيع المنتظمPيو(X){\displaystyle P_{U}(X)}بدلاً من التوزيع الحقيقيP(X){\displaystyle P(X)}يشكل هذا التعريف لإنتروبيا شانون أساس التعميم البديل الذي قدمه إي تي جاينز للتوزيعات المستمرة، وهو الكثافة الحدية للنقاط المنفصلة (على عكس الإنتروبيا التفاضلية المعتادة )، والذي يُعرّف الإنتروبيا المستمرة على النحو التالي: ليمشمال→∞حشمال(X)=سجل⁡شمال-∫ص(x)سجل⁡ص(x)م(x)دx،{\displaystyle \lim _{N\to \infty }H_{N}(X)=\log N-\int p(x)\log {\frac {p(x)}{m(x)}}\,dx{\text{,}}} وهو ما يعادل: سجل⁡(شمال)-دكوالالمبور(ص(x)||م(x)){\displaystyle \log(N)-D_{\text{KL}}(p(x)||m(x))}

الإنتروبيا الشرطية

الإنتروبيا الشرطية [ 35 ] ،

ح(X|Y)=سجل⁡شمال-دكوالالمبور(P(X،Y)∥Pيو(X)P(Y))=سجل⁡شمال-دكوالالمبور(P(X،Y)∥P(X)P(Y))-دكوالالمبور(P(X)∥Pيو(X))=ح(X)-أنا⁡(X؛Y)=سجل⁡شمال-هـY⁡[دكوالالمبور(P(X|Y)∥Pيو(X))]{\displaystyle {\begin{aligned}\mathrm {H} (X\mid Y)&=\log N-D_{\text{KL}}(P(X,Y)\parallel P_{U}(X)P(Y))\\[5pt]&=\log N-D_{\text{KL}}(P(X,Y)\parallel P(X)P(Y))-D_{\text{KL}}(P(X)\parallel P_{U}(X))\\[5pt]&=\mathrm {H} (X)-\operatorname {I} (X;Y)\\[5pt]&=\log N-\operatorname {E} _{Y}\left[D_{\text{KL}}\left(P\left(X\mid Y\right)\parallel P_{U}(X)\right)\right]\end{aligned}}}

يمثل عدد البتات التي يجب إرسالها لتحديد X من بين N احتمالات متساوية، مطروحًا منها الإنتروبيا النسبية للتوزيع المشترك الحقيقيP(X،Y){\displaystyle P(X,Y)}من توزيع المنتجPيو(X)P(Y){\displaystyle P_{U}(X)P(Y)}من — أي أقل من العدد المتوقع للبتات التي كان يجب إرسالها إذا تم ترميز قيمة X وفقًا للتوزيع المنتظمPيو(X){\displaystyle P_{U}(X)}بدلاً من التوزيع الشرطيP(X|Y){\displaystyle P(X|Y)}من X معطى Y.​

الانتروبيا المتقاطعة

عندما يكون لدينا مجموعة من الأحداث المحتملة، قادمة من التوزيع p ، يمكننا ترميزها (باستخدام ضغط بيانات بدون فقدان ) باستخدام ترميز الإنتروبيا . يضغط هذا الترميز البيانات عن طريق استبدال كل رمز إدخال ثابت الطول برمز فريد مطابق له، متغير الطول، وخالٍ من البادئات (على سبيل المثال: يمكن ترميز الأحداث (A، B، C) باحتمالات p = (1/2، 1/4، 1/4) على شكل البتات (0، 10، 11)). إذا كنا نعرف التوزيع p مسبقًا، فيمكننا ابتكار ترميز مثالي (على سبيل المثال: باستخدام ترميز هوفمان ). وهذا يعني أن الرسائل التي نرمزها ستكون لها أقصر طول في المتوسط ​​(بافتراض أن الأحداث المرمزة مأخوذة من p )، وهو ما يساوي إنتروبيا شانون للتوزيع p ( يرمز لها بـح(ص){\displaystyle \mathrm {H} (p)}مع ذلك، إذا استخدمنا توزيعًا احتماليًا مختلفًا ( q ) عند إنشاء مخطط ترميز الإنتروبيا، فسيتم استخدام عدد أكبر من البتات (في المتوسط) لتحديد حدث ما من بين مجموعة من الاحتمالات. ويُقاس هذا العدد الجديد (الأكبر) بالإنتروبيا المتقاطعة بين p و q .

يقيس الانتروبيا المتقاطع بين توزيعين احتماليين ( p و q ) متوسط ​​عدد البتات اللازمة لتحديد حدث ما من بين مجموعة من الاحتمالات، وذلك في حال استخدام نظام ترميز يعتمد على توزيع احتمالي معين q ، بدلاً من التوزيع "الحقيقي" p . وبالتالي، يُعرَّف الانتروبيا المتقاطع لتوزيعين p و q على نفس فضاء الاحتمالات كما يلي.

ح(ص،q)=هـص⁡[-سجل⁡q]=ح(ص)+دكوالالمبور(ص∥q){\displaystyle \mathrm {H} (p,q)=\operatorname {E} _{p}[-\log q]=\mathrm {H} (p)+D_{\text{KL}}(p\parallel q)}

للاطلاع على الاشتقاق الصريح لهذا، انظر قسم الدافع أعلاه.

في ظل هذا السيناريو، يمكن تفسير الانتروبيا النسبية (تباعد kl) على أنها العدد الإضافي من البتات، في المتوسط، المطلوبة (بخلافح(ص){\displaystyle \mathrm {H} (p)}) لترميز الأحداث بسبب استخدام q لإنشاء مخطط الترميز بدلاً من p .

التحديث البايزي

في الإحصاء البايزي ، يمكن استخدام الإنتروبيا النسبية كمقياس لمكاسب المعلومات عند الانتقال من التوزيع المسبق إلى التوزيع اللاحق :ص(x)→ص(x|أنا){\displaystyle p(x)\to p(x\mid I)}إذا ظهرت حقيقة جديدةY=y{\displaystyle Y=y}إذا تم اكتشاف ذلك، فيمكن استخدامه لتحديث التوزيع الاحتمالي اللاحق لـ X منص(x|أنا){\displaystyle p(x\mid I)}إلى توزيع خلفي جديدص(x|y،أنا){\displaystyle p(x\mid y,I)}باستخدام نظرية بايز :

ص(x|y،أنا)=ص(y|x،أنا)ص(x|أنا)ص(y|أنا){\displaystyle p(x\mid y,I)={\frac {p(y\mid x,I)p(x\mid I)}{p(y\mid I)}}}

لهذا التوزيع إنتروبيا جديدة :

ح(ص(x|y،أنا))=-∑xص(x|y،أنا)سجل⁡ص(x|y،أنا)،{\displaystyle \mathrm {H} {\big (}p(x\mid y,I){\big )}=-\sum _{x}p(x\mid y,I)\log p(x\mid y,I){\text{,}}}

والتي قد تكون أقل أو أكبر من الإنتروبيا الأصليةح(ص(x|أنا)){\displaystyle \mathrm {H} (p(x\mid I))}ومع ذلك، من وجهة نظر التوزيع الاحتمالي الجديد، يمكن تقدير أن استخدام الكود الأصلي بناءً علىص(x|أنا){\displaystyle p(x\mid I)}بدلاً من كود جديد يعتمد علىص(x|y،أنا){\displaystyle p(x\mid y,I)}كان من المفترض أن يضيف عددًا متوقعًا من البتات:

دكوالالمبور(ص(x|y،أنا)∥ص(x|أنا))=∑xص(x|y،أنا)سجل⁡ص(x|y،أنا)ص(x|أنا){\displaystyle D_{\text{KL}}{\big (}p(x\mid y,I)\parallel p(x\mid I){\big )}=\sum _{x}p(x\mid y,I)\log {\frac {p(x\mid y,I)}{p(x\mid I)}}}

بالنسبة لطول الرسالة. وهذا يمثل بالتالي مقدار المعلومات المفيدة، أو المعلومات المكتسبة، حول X ، التي تم تعلمها من خلال اكتشافY=y{\displaystyle Y=y}.

إذا كانت هناك بيانات إضافية،Y2=y2{\displaystyle Y_{2}=y_{2}}ثم عند دخول المتغير x، يمكن تحديث توزيع الاحتمالات لـ x بشكل أكبر، لإعطاء أفضل تخمين جديد.ص(x|y1،y2،أنا){\displaystyle p(x\mid y_{1},y_{2},I)}إذا أعاد المرء النظر في مكاسب المعلومات لاستخدامص(x|y1،أنا){\displaystyle p(x\mid y_{1},I)}بدلاً منص(x|أنا){\displaystyle p(x\mid I)}، اتضح أنه قد يكون أكبر أو أقل مما تم تقديره سابقاً:

∑xص(x|y1،y2،أنا)سجل⁡ص(x|y1،y2،أنا)ص(x|أنا){\displaystyle \sum _{x}p(x\mid y_{1},y_{2},I)\log {\frac {p(x\mid y_{1},y_{2},I)}{p(x\mid I)}}}قد يكون ≤ أو > من∑xص(x|y1،أنا)سجل⁡ص(x|y1،أنا)ص(x|أنا){\textstyle \sum _{x}p(x\mid y_{1},I)\log {\frac {p(x\mid y_{1},I)}{p(x\mid I)}}}

وبالتالي فإن مكسب المعلومات المجمع لا يخضع لمتباينة المثلث:

دكوالالمبور(ص(x|y1،y2،أنا)∥ص(x|أنا)){\displaystyle D_{\text{KL}}{\big (}p(x\mid y_{1},y_{2},I)\parallel p(x\mid I){\big )}}قد يكون أقل من أو يساوي أو أكبر مندكوالالمبور(ص(x|y1،y2،أنا)∥ص(x|y1،أنا))+دكوالالمبور(ص(x|y1،أنا)∥ص(x|أنا)){\displaystyle D_{\text{KL}}{\big (}p(x\mid y_{1},y_{2},I)\parallel p(x\mid y_{1},I){\big )}+D_{\text{KL}}{\big (}p(x\mid y_{1},I)\parallel p(x\mid I){\big )}}

كل ما يمكن قوله هو أنه في المتوسط ، يتم حساب المتوسط ​​باستخدامص(y2|y1،x،أنا){\displaystyle p(y_{2}\mid y_{1},x,I)}، سيتعادل الطرفان في النهاية.

التصميم التجريبي البايزي

يتمثل أحد الأهداف الشائعة في تصميم التجارب البايزية في تعظيم الإنتروبيا النسبية المتوقعة بين التوزيع الاحتمالي المسبق والتوزيع الاحتمالي اللاحق. [ 36 ] عندما يتم تقريب التوزيعات الاحتمالية اللاحقة لتكون توزيعات غاوسية، يُطلق على التصميم الذي يعظم الإنتروبيا النسبية المتوقعة اسم التصميم الأمثل البايزي .

معلومات عن التمييز

الإنتروبيا النسبيةدكوالالمبور(ص(x|ح1)∥ص(x|ح0)){\textstyle D_{\text{KL}}{\bigl (}p(x\mid H_{1})\parallel p(x\mid H_{0}){\bigr )}}ويمكن تفسير ذلك أيضاً على أنه معلومات التمييز المتوقعة لـح1{\displaystyle H_{1}}زيادةح0{\displaystyle H_{0}}: متوسط ​​المعلومات لكل عينة للتمييز لصالح فرضية معينةح1{\displaystyle H_{1}}ضد فرضيةح0{\displaystyle H_{0}}، عندما تكون الفرضيةح1{\displaystyle H_{1}}صحيح. [ 37 ] اسم آخر لهذه الكمية، أطلقه عليها آي جيه جود ، هو الوزن المتوقع للأدلة علىح1{\displaystyle H_{1}}زيادةح0{\displaystyle H_{0}}من المتوقع حدوث ذلك من كل عينة.

الوزن المتوقع للأدلة لـح1{\displaystyle H_{1}}زيادةح0{\displaystyle H_{0}}لا يُعد هذا هو نفسه مقدار المعلومات المتوقعة لكل عينة حول التوزيع الاحتماليص(ح){\displaystyle p(H)}من بين الفرضيات،

دكوالالمبور(ص(x|ح1)∥ص(x|ح0))≠أناجي=دكوالالمبور(ص(ح|x)∥ص(ح|أنا)).{\displaystyle D_{\text{KL}}(p(x\mid H_{1})\parallel p(x\mid H_{0}))\neq IG=D_{\text{KL}}(p(H\mid x)\parallel p(H\mid I)){\text{.}}}

يمكن استخدام أي من الكميتين كدالة منفعة في التصميم التجريبي البايزي، لاختيار السؤال الأمثل التالي للتحقيق فيه: لكنهما سيؤديان بشكل عام إلى استراتيجيات تجريبية مختلفة تمامًا.

على مقياس الإنتروبيا لاكتساب المعلومات ، يكاد يكون الفرق بين شبه اليقين واليقين المطلق ضئيلاً للغاية؛ فالترميز وفقًا لشبه اليقين لا يتطلب عددًا من البتات يكاد يضاهي ما يتطلبه الترميز وفقًا لليقين المطلق. من جهة أخرى، على مقياس اللوجيت الذي يُشير إليه وزن الأدلة، يكون الفرق بين الاثنين هائلاً، بل ربما لانهائيًا؛ وهذا قد يعكس الفرق بين أن تكون شبه متأكد (على المستوى الاحتمالي) من صحة فرضية ريمان ، على سبيل المثال ، مقارنةً بأن تكون متأكدًا من صحتها لوجود برهان رياضي . يُعدّ هذان المقياسان المختلفان لدالة الخسارة للشك مفيدين، وذلك بحسب مدى دقة كل منهما في عكس الظروف الخاصة بالمشكلة المطروحة.

مبدأ الحد الأدنى من المعلومات التمييزية

أدت فكرة الإنتروبيا النسبية كمعلومات تمييزية إلى اقتراح كولباك لمبدأمعلومات الحد الأدنى للتمييز (MDI): بالنظر إلى الحقائق الجديدة، يجب اختيار توزيع جديدfيكون من الصعب تمييزه عن التوزيع الأصلي.و0{\displaystyle f_{0}}قدر الإمكان؛ بحيث تُنتج البيانات الجديدة أقل قدر ممكن من المعلومات المكتسبةدكوالالمبور(و∥و0){\displaystyle D_{\text{KL}}(f\parallel f_{0})}قدر الإمكان.

على سبيل المثال، إذا كان لدى المرء توزيع مسبقص(x،أ){\displaystyle p(x,a)}على x و a ، ثم تعلمت التوزيع الحقيقي لـ a .u(أ){\displaystyle u(a)}ثم الإنتروبيا النسبية بين التوزيع المشترك الجديد لـ x و a ،q(x|أ)u(أ){\displaystyle q(x\mid a)u(a)}ويكون التوزيع المسبق السابق كالتالي:

دكوالالمبور(q(x|أ)u(أ)∥ص(x،أ))=هـu(أ)⁡{دكوالالمبور(q(x|أ)∥ص(x|أ))}+دكوالالمبور(u(أ)∥ص(أ))،{\displaystyle D_{\text{KL}}(q(x\mid a)u(a)\parallel p(x,a))=\operatorname {E} _{u(a)}\left\{D_{\text{KL}}(q(x\mid a)\parallel p(x\mid a))\right\}+D_{\text{KL}}(u(a)\parallel p(a)),}

أي مجموع الإنتروبيا النسبية لـص(أ){\displaystyle p(a)}التوزيع المسبق لـ a من التوزيع المحدثu(أ){\displaystyle u(a)}بالإضافة إلى القيمة المتوقعة (باستخدام توزيع الاحتمالات)u(أ){\displaystyle u(a)}) من الإنتروبيا النسبية للتوزيع الشرطي المسبقص(x|أ){\displaystyle p(x\mid a)}من التوزيع الشرطي الجديدq(x|أ){\displaystyle q(x\mid a)}(لاحظ أن القيمة المتوقعة اللاحقة تسمى غالبًا الإنتروبيا النسبية الشرطية (أو تباعد كولباك-لايبير الشرطي ) ويرمز لها بـدكوالالمبور(q(x|أ)∥ص(x|أ)){\displaystyle D_{\text{KL}}(q(x\mid a)\parallel p(x\mid a))}[ 3 ] [ 35 ] ) يتم تقليل هذا إلى الحد الأدنى إذاq(x|أ)=ص(x|أ){\displaystyle q(x\mid a)=p(x\mid a)}على الدعم الكامل لـu(أ){\displaystyle u(a)}ونلاحظ أن هذه النتيجة تتضمن نظرية بايز، إذا كان التوزيع الجديدu(أ){\displaystyle u(a)}هي في الواقع دالة دلتا تمثل اليقين بأن a لها قيمة معينة.

يمكن اعتبار MDI امتدادًا لمبدأ لابلاس للسبب غير الكافي ، ومبدأ أقصى إنتروبيا لـ ET Jaynes . وعلى وجه الخصوص، فهو الامتداد الطبيعي لمبدأ أقصى إنتروبيا من التوزيعات المنفصلة إلى التوزيعات المتصلة، حيث تفقد إنتروبيا شانون فائدتها (انظر الإنتروبيا التفاضلية )، بينما تظل الإنتروبيا النسبية ذات أهمية بالغة.

في الأدبيات الهندسية، يُطلق على MDI أحيانًا اسم مبدأ الحد الأدنى للإنتروبيا المتقاطعة (MCE) أو Minxent اختصارًا. إن تقليل الإنتروبيا النسبية من m إلى p بالنسبة إلى m يُكافئ تقليل الإنتروبيا المتقاطعة بين p و m ، لأن

ح(ص،م)=ح(ص)+دكوالالمبور(ص∥م)،{\displaystyle \mathrm {H} (p,m)=\mathrm {H} (p)+D_{\text{KL}}(p\parallel m),}

وهذا مناسب إذا كان المرء يحاول اختيار تقريب مناسب لـ p . ومع ذلك، غالبًا ما لا تكون هذه هي المهمة التي يسعى المرء إلى تحقيقها. بدلاً من ذلك، غالبًا ما تكون m هي مقياس مرجعي ثابت مسبق، و p هي التي يحاول المرء تحسينها عن طريق تقليلها.دكوالالمبور(ص∥م){\displaystyle D_{\text{KL}}(p\parallel m)}يخضع ذلك لبعض القيود. وقد أدى هذا إلى بعض الغموض في الأدبيات، حيث حاول بعض المؤلفين حل هذا التناقض عن طريق إعادة تعريف الإنتروبيا المتقاطعة لتكوندكوالالمبور(ص∥م){\displaystyle D_{\text{KL}}(p\parallel m)}بدلاً منح(ص،م){\displaystyle \mathrm {H} (p,m)}.

العلاقة بالعمل المتاح

رسم بياني للضغط مقابل الحجم يوضح الشغل المتاح من مول واحد من غاز الأرجون بالنسبة للوسط المحيط، محسوبًا على النحو التالي:تيo{\displaystyle T_{o}}أضعاف تباعد كولباك-لايبير

تُضاف المفاجآت [ 38 ] حيث تتضاعف الاحتمالات. تُعرَّف المفاجأة لحدث احتماله p على النحو التالي:s=-كln⁡ص{\displaystyle s=-k\ln p}إذا كان k{1،1/ln⁡2،1.38×10-23}{\displaystyle \left\{1,1/\ln 2,1.38\times 10^{-23}\right\}}ثم تكمن المفاجأة{{\displaystyle \{}ناتس، بتات، أوج/ك}{\displaystyle J/K\}}بحيث يكون هناك، على سبيل المثال، N من المفاجأة عند الحصول على جميع "الرؤوس" عند رمي N من العملات المعدنية.

تُستنتج أفضل حالات التخمين (مثلًا للذرات في الغاز) من خلال تعظيم متوسط ​​المفاجأة S ( الإنتروبيا ) لمجموعة معينة من معلمات التحكم (مثل الضغط P أو الحجم V ). هذا التعظيم المقيد للإنتروبيا ، سواءً بالطريقة الكلاسيكية [ 39 ] أو الكمية [ 40 ]، يقلل من توافر طاقة جيبس ​​بوحدات الإنتروبيا [ 41 ].أ≡-كln⁡Z{\displaystyle A\equiv -k\ln Z}حيث Z هي دالة تعدد مقيدة أو دالة تقسيم .

عند تثبيت درجة الحرارة T ، تكون الطاقة الحرة (تي×أ{\displaystyle T\times A}يتم تقليلها أيضًا. وبالتالي إذاتي،V{\displaystyle T,V}إذا كان عدد الجزيئات N ثابتًا، فإن طاقة هيلمهولتز الحرةF≡يو-تيS{\displaystyle F\equiv U-TS}(حيث U هي الطاقة و S هي الإنتروبيا) يتم تقليلها إلى أدنى حد عندما "يتوازن" النظام. إذا تم تثبيت T و P (على سبيل المثال أثناء العمليات في جسمك)، فإن طاقة جيبس ​​الحرةجي=يو+PV-تيS{\displaystyle G=U+PV-TS}يتم تقليلها إلى أدنى حد. يُعد التغير في الطاقة الحرة في ظل هذه الظروف مقياسًا للشغل المتاح الذي يمكن إنجازه في العملية. وبالتالي، فإن الشغل المتاح لغاز مثالي عند درجة حرارة ثابتةتيo{\displaystyle T_{o}}والضغطPo{\displaystyle P_{o}}يكوندبليو=Δجي=شمالكتيoΘ(V/Vo){\displaystyle W=\Delta G=NkT_{o}\Theta (V/V_{o})}أينVo=شمالكتيo/Po{\displaystyle V_{o}=NkT_{o}/P_{o}}وΘ(x)=x-1-ln⁡x≥0{\displaystyle \Theta (x)=x-1-\ln x\geq 0}(انظر أيضًا متباينة جيبس ).

وبشكل أعم [ 42 ] يتم الحصول على الشغل المتاح بالنسبة إلى درجة حرارة محيطة معينة عن طريق ضرب درجة الحرارة المحيطةتيo{\displaystyle T_{o}}عن طريق الانتروبيا النسبية أو المفاجأة الصافيةΔأنا≥0،{\displaystyle \Delta I\geq 0,}يُعرَّف بأنه متوسط ​​قيمةكln⁡(ص/صo){\displaystyle k\ln(p/p_{o})}أينصo{\displaystyle p_{o}}هي احتمالية حالة معينة في ظل الظروف المحيطة. على سبيل المثال، الشغل المتاح لتحقيق التوازن بين غاز مثالي أحادي الذرة والقيم المحيطة لـVo{\displaystyle V_{o}}وتيo{\displaystyle T_{o}}وبالتاليدبليو=تيoΔأنا{\displaystyle W=T_{o}\Delta I}، حيث الإنتروبيا النسبية

Δأنا=شمالك[Θ(VVo)+32Θ(تيتيo)].{\displaystyle \Delta I=Nk\left[\Theta {\left({\frac {V}{V_{o}}}\right)}+{\frac {3}{2}}\Theta {\left({\frac {T}{T_{o}}}\right)}\right].}

تُحدد خطوط الانتروبيا النسبية الثابتة الناتجة، والموضحة على اليمين لمول واحد من الأرجون عند درجة الحرارة والضغط القياسيين ، على سبيل المثال، حدود تحويل الساخن إلى بارد كما هو الحال في مكيفات الهواء التي تعمل باللهب أو في الجهاز غير المزود بالطاقة لتحويل الماء المغلي إلى ماء مثلج الذي نناقشه هنا. [ 43 ] وبالتالي، تقيس الانتروبيا النسبية التوافر الديناميكي الحراري بالبتات.

نظرية المعلومات الكمومية

بالنسبة لمصفوفات الكثافة P و Q على فضاء هيلبرت ، يُعرَّف الإنتروبيا النسبية الكمومية من Q إلى P على النحو التالي:

دكوالالمبور(P∥سؤال)=Tr⁡(P(سجل⁡P-سجل⁡سؤال)).{\displaystyle D_{\text{KL}}(P\parallel Q)=\operatorname {Tr} (P(\log P-\log Q)).}

في علم المعلومات الكمومية، الحد الأدنى مندكوالالمبور(P∥سؤال){\displaystyle D_{\text{KL}}(P\parallel Q)}يمكن أيضًا استخدام Q كمقياس للتشابك في الحالة P على جميع الحالات القابلة للفصل .

العلاقة بين النماذج والواقع

كما أن الإنتروبيا النسبية لـ "الواقع من المحيط" تقيس التوافر الديناميكي الحراري، فإن الإنتروبيا النسبية لـ "الواقع من النموذج" مفيدة أيضاً حتى لو كانت الأدلة الوحيدة المتوفرة لدينا عن الواقع هي بعض القياسات التجريبية. في الحالة الأولى، تصف الإنتروبيا النسبية المسافة إلى حالة التوازن أو (عند ضربها بدرجة حرارة المحيط) مقدار الشغل المتاح ، بينما في الحالة الثانية، تخبرنا عن المفاجآت التي يخبئها الواقع، أو بعبارة أخرى، ما الذي لا يزال النموذج بحاجة إلى تعلمه .

على الرغم من إمكانية تطبيق هذه الأداة لتقييم النماذج مقابل الأنظمة التي يمكن الوصول إليها تجريبيًا في أي مجال، إلا أن تطبيقها لاختيار نموذج إحصائي باستخدام معيار معلومات أكايكي موصوفٌ بشكلٍ خاص في ورقتين بحثيتين [ 44 ] وكتاب [ 45 ] من تأليف بيرنهام وأندرسون. باختصار، يمكن تقدير الإنتروبيا النسبية للواقع من نموذج ما، ضمن حد إضافي ثابت، بواسطة دالة للانحرافات الملحوظة بين البيانات وتنبؤات النموذج (مثل متوسط ​​مربع الانحراف ). ويمكن استخدام تقديرات هذا التباعد للنماذج التي تشترك في نفس الحد الإضافي للاختيار بين النماذج.

عند محاولة ملاءمة النماذج المعلمة للبيانات، هناك العديد من المقدرات التي تحاول تقليل الإنتروبيا النسبية، مثل مقدرات الاحتمال الأقصى ومقدرات التباعد الأقصى .

تباعد متناظر

كما تناول كولباك وليبلر (1951) الدالة المتناظرة: [ 6 ]

دكوالالمبور(P∥سؤال)+دكوالالمبور(سؤال∥P){\displaystyle D_{\text{KL}}(P\parallel Q)+D_{\text{KL}}(Q\parallel P)}

والتي أطلقوا عليها اسم "التباعد"، مع أن مصطلح "تباعد كولباك-لايبير" اليوم يشير إلى الدالة غير المتناظرة (انظر قسم  أصل الكلمة للاطلاع على تطور المصطلح). هذه الدالة متناظرة وغير سالبة، وقد سبق أن عرّفها واستخدمها هارولد جيفريز عام 1948؛ [ 7 ] ولذلك تُسمى تباعد جيفريز .

يُستخدم هذا المقياس أحيانًا لاختيار السمات في مسائل التصنيف ، حيث يُمثل P و Q دالتي كثافة الاحتمال الشرطي لسمة ما ضمن فئتين مختلفتين. في قطاعي البنوك والتمويل، يُشار إلى هذا المقياس باسم مؤشر استقرار السكان ( PSI )، ويُستخدم لتقييم التحولات التوزيعية في سمات النموذج عبر الزمن.

يُقدَّم بديلٌ عبرλ{\displaystyle \lambda }-التباعد،

دλ(P∥سؤال)=λدكوالالمبور(P∥λP+(1-λ)سؤال)+(1-λ)دكوالالمبور(سؤال∥λP+(1-λ)سؤال)،{\displaystyle D_{\lambda }(P\parallel Q)=\lambda D_{\text{KL}}(P\parallel \lambda P+(1-\lambda )Q)+(1-\lambda )D_{\text{KL}}(Q\parallel \lambda P+(1-\lambda )Q){\text{,}}}

ويمكن تفسير ذلك على أنه مقدار المعلومات المتوقعة المكتسبة حول X من اكتشاف توزيع الاحتمالات الذي تم سحب X منه، سواء كان P أو Q ، إذا كانت لديهما احتمالات حاليًاλ{\displaystyle \lambda }و1-λ{\displaystyle 1-\lambda }على التوالى.

القيمةλ=0.5{\displaystyle \lambda =0.5}يُعطي تباعد جنسن-شانون ، المُعرَّف بواسطة

دJS=12دكوالالمبور(P∥م)+12دكوالالمبور(سؤال∥م){\displaystyle D_{\text{JS}}={\tfrac {1}{2}}D_{\text{KL}}(P\parallel M)+{\tfrac {1}{2}}D_{\text{KL}}(Q\parallel M)}

حيث M هو متوسط ​​التوزيعين،

م=12(P+سؤال).{\displaystyle M={\tfrac {1}{2}}\left(P+Q\right){\text{.}}}

يمكننا أيضًا تفسيردJS{\displaystyle D_{\text{JS}}}باعتبارها سعة قناة معلومات مشوشة ذات مدخلين ينتج عنهما توزيعات المخرجات P و Q. تباعد جينسن-شانون، كجميع تباعدات f ، يتناسب محليًا مع مقياس معلومات فيشر . وهو مشابه لمقياس هيلينجر (بمعنى أنه يُنشئ نفس الاتصال الأفيني على مشعب إحصائي ).

علاوة على ذلك، يمكن تعميم تباعد جنسن-شانون باستخدام مخاليط إحصائية مجردة تعتمد على متوسط ​​مجرد M. [ 46 ] [ 47 ]

العلاقة بمقاييس المسافة الاحتمالية الأخرى

توجد العديد من المقاييس المهمة الأخرى لمسافة الاحتمالية . يرتبط بعضها ارتباطًا وثيقًا بالإنتروبيا النسبية. على سبيل المثال:

  • مسافة التباين الكلي ،دلتا(ص،q){\displaystyle \delta (p,q)}يرتبط هذا بالتباعد من خلال متباينة بينسكر :دلتا(P،سؤال)≤12دكوالالمبور(P∥سؤال).{\displaystyle \delta (P,Q)\leq {\sqrt {{\tfrac {1}{2}}D_{\text{KL}}(P\parallel Q)}}.}تكون متباينة بينسكر فارغة لأي توزيعات حيثدكل(P∥سؤال)>2{\displaystyle D_{\mathrm {KL} }(P\parallel Q)>2}بما أن مسافة التباين الكلية لا تتجاوز 1. بالنسبة لهذه التوزيعات، يمكن استخدام حد بديل، وذلك بفضل بريتانيول وهوبر [ 48 ] (انظر أيضًا تسيباكوف [ 49 ] ):دلتا(P،سؤال)≤1-هـ-دكل(P∥سؤال).{\displaystyle \delta (P,Q)\leq {\sqrt {1-e^{-D_{\mathrm {KL} }(P\parallel Q)}}}.}
  • تُعمم عائلة تباعدات ريني مفهوم الإنتروبيا النسبية. اعتمادًا على قيمة مُعامل مُعين،α{\displaystyle \alpha }، ويمكن استنتاج العديد من المتباينات.

تشمل المقاييس الأخرى البارزة للمسافة مسافة هيلينجر ، وتقاطع المدرج التكراري ، وإحصائية مربع كاي ، ومسافة الشكل التربيعي ، ومسافة المطابقة ، ومسافة كولموغوروف-سميرنوف ، ومسافة نقل الأرض . [ 50 ]

تفاضل البيانات

وكما أن الإنتروبيا المطلقة بمثابة خلفية نظرية لضغط البيانات ، فإن الإنتروبيا النسبية بمثابة خلفية نظرية لتفاضل البيانات - فالإنتروبيا المطلقة لمجموعة من البيانات بهذا المعنى هي البيانات المطلوبة لإعادة بنائها (الحد الأدنى للحجم المضغوط)، بينما الإنتروبيا النسبية لمجموعة بيانات مستهدفة، بالنظر إلى مجموعة بيانات مصدرية، هي البيانات المطلوبة لإعادة بناء الهدف بالنظر إلى المصدر (الحد الأدنى لحجم الرقعة ) .

انظر أيضاً

مراجع

  1. 1 2 سيسزار، آي (فبراير 1975). "هندسة التباعد-I لتوزيعات الاحتمالات ومسائل التصغير" . حوليات الاحتمالات 3 ( 1): 146-158 . doi : 10.1214/aop/1176996454 .
  2. ↑ كولباك، س.؛ ليبيلر ، ر. أ. (1951). "حول المعلومات وكفايتها" . حوليات الإحصاء الرياضي . 22 (1): 79-86 . doi : 10.1214/ aoms /1177729694 . JSTOR 2236703. MR 0039968 .  
  3. 1 2 3 4 كولباك 1959 .
  4. 1 2 3 4 5 أماري 2016 ، ص. 11.
  5. 1 2 أماري 2016 ، ص. 28.
  6. 1 2 كولباك وليبلر 1951 ، ص 80.
  7. 1 2 جيفريز 1948 ، ص. 158.
  8. ↑ كولباك 1959 ، ص 7.
  9. ↑ كولباك، س. (1987). "رسالة إلى المحرر: مسافة كولباك-لايبير" . الإحصائي الأمريكي . 41 (4): 340-341 . doi : 10.1080/00031305.1987.10475510 . JSTOR 2684769 . 
  10. ↑ كولباك 1959 ، ص. 6.
  11. ↑ كولباك 1959 ، ص 6-7، §1.3 التباعد.
  12. ↑ ماكاي ، ديفيد جيه سي (2003). نظرية المعلومات، والاستدلال، وخوارزميات التعلم ( الطبعة الأولى). مطبعة جامعة كامبريدج. ص 34. ISBN   978-0-521-64298-9– عبر كتب جوجل.
  13. ↑ ما هي القيمة القصوى لتباعد كولباك-لايبير (KL)؟ . تعلم الآلة. موقع ستاك إكستشينج الإحصائي (stats.stackexchange.com) . تم التحقق من صحة الإجابة.
  14. ↑ "في أي الحالات يكون التكامل مساوياً لما لا نهاية؟" . التكامل. موقع تبادل الأسئلة والأجوبة في الرياضيات (math.stackexchange.com) .
  15. ↑ بيشوب، كريستوفر م. التعرف على الأنماط والتعلم الآلي . ص 55. OCLC 1334664824 .  
  16. ↑ كولباك 1959 ، ص 5.
  17. ↑ برنهام ، ك.ب.؛ أندرسون، د.ر. (2002). اختيار النموذج والاستدلال متعدد النماذج (الطبعة الثانية ). سبرينغر. ص 51. ISBN   978-0-387-95364-9.
  18. ↑ عبد القادر، روسلان؛ لياخوف، بافيل؛ ناغورنوف، نيكولاي (يناير 2023). "دراسة استقصائية لخوارزميات التحسين في الشبكات العصبية الحديثة" . الرياضيات . 11 (11): 2466. doi : 10.3390/math11112466 . ISSN 2227-7390 . 
  19. ↑ ماتاسا، ماركو (ديسمبر 2021). "مقاييس فوبيني-ستودي وروابط ليفي-سيفيتا على الفضاءات الإسقاطية الكمومية" . التقدم في الرياضيات . 393 108101. arXiv : 2010.03291 . doi : 10.1016/j.aim.2021.108101 . ISSN 0001-8708 . 
  20. ↑ لان، غوانغوي (مارس 2023). "انحدار مرآة السياسة للتعلم المعزز: التقارب الخطي، تعقيد أخذ العينات الجديد، وفئات المسائل المعممة" . البرمجة الرياضية . 198 (1): 1059-1106 . arXiv : 2102.00135 . doi : 10.1007/s10107-022-01816-5 . ISSN 1436-4646 . مؤرشف من الأصل في 3 نوفمبر 2025. تم الاسترجاع في 18 نوفمبر 2024 . 
  21. ↑ كيلي، جيه إل الابن (1956). " تفسير جديد لمعدل المعلومات". مجلة بيل سيستم التقنية 2 ( 4): 917-926 . doi : 10.1002/j.1538-7305.1956.tb03809.x
  22. ↑ سوكلاكوف، أ.ن. (2020). "اقتصاديات الخلاف - الحدس المالي لتباعد ريني" . إنتروبي . 22 (8): 860. arXiv : 1811.08308 . Bibcode : 2020Entrp..22..860S . doi : 10.3390/e22080860 . PMC 7517462. PMID 33286632 .  
  23. ↑ سوكلاكوف، أ.ن. (2023). "هندسة المعلومات للمخاطر والعوائد". المخاطر . يونيو . SSRN 4134885 . 
  24. ↑ هينيد، كريم (30 سبتمبر 2024). "راكب التدفق: الإنتروبيا النسبية للتدفقات في النظم البيئية القابلة للتداول كمحدد للقيمة النسبية". مجلة الاستثمار . 33 (6): 34-58 . doi : 10.3905/joi.2024.1.321 .
  25. ↑ سانوف، إي إن (1957). "حول احتمالية الانحرافات الكبيرة للمقادير العشوائية". مات. سبورنيك . 42 (84): 11– 44.
  26. ↑ نوفاك، إس واي (2011)، أساليب القيمة المتطرفة مع تطبيقات في التمويل ، الفصل 14.5 ( تشابمان وهول ). رقم ISBN 978-1-4398-3574-6.
  27. ↑ هوبسون، آرثر (1971). مفاهيم في الميكانيكا الإحصائية . نيويورك: جوردون وبريتش. ISBN 978-0-677-03240-5.
  28. ↑ بونيتشي، ف. (2020). "تباعد كولباك-لايبير بين التوزيعات الكمومية، وحدها الأعلى". arXiv : 2008.05932 [ cs.LG ].
  29. ↑ انظر إلى قسم "الإنتروبيا التفاضلية - 4" في كتاب " الإنتروبيا النسبية " (مؤرشف بتاريخ 25-12-2018 على موقع Wayback Machine) . محاضرة فيديو لسيرجيو فيردو ، مؤتمر NIPS 2009.
  30. ↑ دونسكر، مونرو د.؛ فارادان، إس آر سرينيفاسا (1983). "التقييم التقاربي لتوقعات عملية ماركوف معينة لفترة زمنية طويلة. الجزء الرابع". مجلة الاتصالات في الرياضيات البحتة والتطبيقية . 36 (2): 183-212 . doi : 10.1002/cpa.3160360204 .
  31. ↑ دوتشي ج. "اشتقاقات الجبر الخطي والتحسين" (ملف PDF) . ص 13. مؤرشف من الأصل (ملف PDF) بتاريخ 2018-04-17. 
  32. ↑ بيلوف، ديمتري إي؛ أرمسترونغ، رونالد دي. (15 أبريل 2011). "توزيعات تباعد كولباك-لايبير مع تطبيقات". المجلة البريطانية لعلم النفس الرياضي والإحصائي . 64 (2): 291-309 . doi : 10.1348/000711010x522227 . ISSN 0007-1102 . PMID 21492134 .  
  33. 1 2 بوخنر، يوهانس (29-04-2022). حدسٌ للفيزيائيين: اكتساب المعلومات من التجارب . OCLC 1363563215 . 
  34. ↑ نيلسن، فرانك؛ غارسيا، فينسنت (2011). "العائلات الأسية الإحصائية: ملخص مع بطاقات تعليمية". arXiv : 0911.4863 [ cs.LG ].
  35. 1 2 كوفر، توماس م.؛ توماس، جوي أ. (1991)، عناصر نظرية المعلومات ، جون وايلي وأولاده ، ص 22 
  36. ↑ تشالونر، ك.؛ فيردينيلي، إ. (1995). "التصميم التجريبي البايزي: مراجعة" . العلوم الإحصائية . 10 (3): 273-304 . doi : 10.1214/ss/1177009939 . hdl : 11299/199630 .
  37. ↑ بريس، دبليو إتش؛ تيوكولسكي، إس إيه؛ فيترلينغ، دبليو تي؛ فلانيري، بي بي (2007). "القسم 14.7.2. مسافة كولباك-لايبير". وصفات عددية: فن الحوسبة العلمية ( الطبعة الثالثة). مطبعة جامعة كامبريدج. ISBN  978-0-521-88068-8.
  38. ↑ تريبوس، مايرون (1959). الديناميكا الحرارية والحرارية: مقدمة في الطاقة والمعلومات وحالات المادة، مع تطبيقات هندسية . فان نوستراند.
  39. ↑ جاينز، إي تي (1957). " نظرية المعلومات والميكانيكا الإحصائية" (ملف PDF) . مجلة Physical Review . 106 (4): 620-630 . Bibcode : 1957PhRv..106..620J . doi : 10.1103/physrev.106.620 . S2CID 17870175. مؤرشف (ملف PDF) من الأصل بتاريخ 14 ديسمبر 2024. تم الاطلاع عليه بتاريخ 18 فبراير 2008 . 
  40. ↑ جاينز، إي تي (1957). "نظرية المعلومات والميكانيكا الإحصائية II" (ملف PDF) . مجلة Physical Review . 108 (2): 171–190 . Bibcode : 1957PhRv..108..171J . doi : 10.1103/physrev.108.171 . مؤرشف (ملف PDF) من الأصل بتاريخ 14 مايو 2011. تاريخ الاسترجاع : 18 فبراير 2008 .
  41. ↑ جيبس، جوزيا ويلارد (1871). طريقة التمثيل الهندسي للخواص الديناميكية الحرارية للمواد بواسطة الأسطح . الأكاديمية.الحاشية في الصفحة 52.
  42. ↑ تريبوس، م.؛ ماك إيرفين، إي سي (1971). "الطاقة والمعلومات". مجلة ساينتفك أمريكان . 224 (3): 179-186 . Bibcode : 1971SciAm.225c.179T . doi : 10.1038/scientificamerican0971-179 .
  43. ↑ فراوندورف، ب. (2007). "الجذور الحرارية للتعقيد القائم على الارتباط" . التعقيد . 13 (3): 18-26 . arXiv : 1103.2481 . Bibcode : 2008Cmplx..13c..18F . doi : 10.1002/cplx.20195 . S2CID 20794688 . {{cite journal}}: CS1 maint: deprecated archiveal service ( link )
  44. ↑ برنهام، ك.ب.؛ أندرسون، د.ر. (2001). "معلومات كولباك-لايبير كأساس للاستدلال القوي في الدراسات البيئية" . بحوث الحياة البرية . 28 (2): 111-119 . doi : 10.1071/WR99107 .
  45. ↑ برنهام، كينيث ب. (ديسمبر 2010). اختيار النموذج والاستدلال متعدد النماذج: منهج عملي قائم على نظرية المعلومات . سبرينغر. ISBN 978-1-4419-2973-0. OCLC 878132909 . 
  46. ↑ نيلسن، فرانك (2019). "حول تناظر جنسن-شانون للمسافات بالاعتماد على المتوسطات المجردة" . إنتروبي . 21 (5): 485. arXiv : 1904.04017 . Bibcode : 2019Entrp..21..485N . doi : 10.3390 / e21050485 . PMC 7514974. PMID 33267199 .  
  47. ↑ نيلسن، فرانك (2020). "حول تعميم تباعد جنسن-شانون ومركز جنسن-شانون" . إنتروبي . 22 (2): 221. arXiv : 1912.00610 . Bibcode : 2020Entrp..22..221N . doi : 10.3390 / e22020221 . PMC 7516653. PMID 33285995 .  
  48. ^ بريتاجنول، جيه. Huber, C. (1978)، “Estimation des densités : Risque minimax”، Séminaire de Probabilités XII ، Lecture Notes in Mathematics (باللغة الفرنسية)، المجلد. 649، برلين، هايدلبرغ: سبرينغر برلين هايدلبرغ، الصفحات من 342 إلى 363، دوى : 10.1007/bfb0064610 ، ISBN    978-3-540-08761-8، S2CID 122597694 اللمة 2.1
  49. ↑ ب.), تسيباكوف، أ.ب. (ألكسندر (2010). مقدمة في التقدير غير البارامتري . سبرينغر. ISBN 978-1-4419-2709-5. OCLC 757859245 . {{cite book}}: CS1 maint: multiple names: authors list ( link ) Equation 2.25.
  50. ↑ روبنر، ي.؛ توماسي، س.؛ غيباس، ل. ج. (2000). "مسافة نقل الأرض كمقياس لاسترجاع الصور". المجلة الدولية لرؤية الحاسوب . 40 (2): 99-121 . doi : 10.1023/A:1026543900054 . S2CID 14106275 . 
  • أماري، شون-إيتشي (2016). هندسة المعلومات وتطبيقاتها . العلوم الرياضية التطبيقية. المجلد  194. سبرينغر اليابان. الصفحات  13، 374. doi : 10.1007/978-4-431-55978-8 . ISBN 978-4-431-55977-1.
  • كولباك، سولومون (1959)، نظرية المعلومات والإحصاء ، جون وايلي وأولادهأُعيد نشرها بواسطة دار نشر دوفر عام 1968؛ وأُعيد طبعها عام 1978: رقم ISBN 0-8446-5625-9.
  • جيفريز، هارولد (1948). نظرية الاحتمالات (  الطبعة الثانية). مطبعة جامعة أكسفورد.