الانتروبيا المتقاطعة

في نظرية المعلومات ، الإنتروبيا المتقاطعة بين توزيعين احتماليين${\displaystyle p}$و${\displaystyle q}$يقيس هذا المقياس، على نفس مجموعة الأحداث الأساسية، متوسط ​​عدد البتات اللازمة لتحديد حدث مُختار من المجموعة عندما يتم تحسين نظام الترميز المستخدم للمجموعة وفقًا لتوزيع احتمالي مُقدَّر.${\displaystyle q}$، بدلاً من التوزيع الحقيقي${\displaystyle p}$.

الإنتروبيا المتقاطعة للتوزيع${\displaystyle q}$ بالنسبة للتوزيع${\displaystyle p}$يتم تعريف المجموعة المعطاة على النحو التالي:

$${\displaystyle H(p,q)=-\operatorname {E} _{p}[\log q],}$$

أين${\displaystyle \operatorname {E} _{p}[\cdot ]}$هو عامل القيمة المتوقعة بالنسبة للتوزيع${\displaystyle p}$.

يمكن صياغة التعريف باستخدام تباعد كولباك-لايبير${\displaystyle D_{\mathrm {KL} }(p\parallel q)}$تباين${\displaystyle p}$من${\displaystyle q}$(المعروف أيضًا باسم الإنتروبيا النسبية لـ${\displaystyle p}$بالنسبة إلى${\displaystyle q}$).

$${\displaystyle H(p,q)=H(p)+D_{\mathrm {KL} }(p\parallel q),}$$

أين${\displaystyle H(p)}$هي إنتروبيا​${\displaystyle p}$.

بالنسبة لتوزيعات الاحتمالات المنفصلة${\displaystyle p}$و${\displaystyle q}$بنفس الدعم${\displaystyle {\mathcal {X}}}$، هذا يعنى

وينطبق الأمر نفسه على التوزيعات المستمرة . علينا أن نفترض أن${\displaystyle p}$و${\displaystyle q}$متصلة بشكل مطلق بالنسبة إلى مقياس مرجعي ما${\displaystyle r}$(عادة${\displaystyle r}$(هو مقياس ليبيغ على جبر بوريل سيغما ). ليكن${\displaystyle P}$و${\displaystyle Q}$لتكن دوال كثافة الاحتمال لـ${\displaystyle p}$و${\displaystyle q}$بالنسبة إلى${\displaystyle r}$. ثم

$${\displaystyle -\int _{\mathcal {X}}P(x)\,\log Q(x)\,\mathrm {d} x=\operatorname {E} _{p}[-\log Q],}$$

وبالتالي

ملاحظة: الترميز${\displaystyle H(p,q)}$يُستخدم أيضًا لمفهوم مختلف، وهو الإنتروبيا المشتركة لـ${\displaystyle p}$و${\displaystyle q}$.

في نظرية المعلومات ، تنص نظرية كرافت - ماكميلان على أن أي نظام ترميز قابل للفك المباشر لترميز رسالة لتحديد قيمة واحدة${\displaystyle x_{i}}$من بين مجموعة من الاحتمالات${\displaystyle \{x_{1},\ldots ,x_{n}\}}$يمكن اعتبارها بمثابة تمثيل لتوزيع احتمالي ضمني${\displaystyle q(x_{i})=\left({\frac {1}{2}}\right)^{\ell _{i}}}$زيادة${\displaystyle \{x_{1},\ldots ,x_{n}\}}$، أين${\displaystyle \ell _{i}}$يمثل طول الكود لـ${\displaystyle x_{i}}$بالبتات. لذلك، يمكن تفسير الانتروبيا المتقاطعة على أنها طول الرسالة المتوقع لكل معلومة عند وجود توزيع خاطئ.${\displaystyle q}$يُفترض ذلك بينما تتبع البيانات في الواقع توزيعًا${\displaystyle p}$ولهذا السبب يتم حساب القيمة المتوقعة بناءً على التوزيع الاحتمالي الحقيقي${\displaystyle p}$وليس${\displaystyle q.}$في الواقع، طول الرسالة المتوقع في ظل التوزيع الحقيقي${\displaystyle p}$يكون

$${\displaystyle {\begin{aligned}\operatorname {E} _{p}[\ell ]&=-\operatorname {E} _{p}\left[{\frac {\ln {q(x)}}{\ln(2)}}\right]\\[1ex]&=-\operatorname {E} _{p}\left[\log _{2}{q(x)}\right]\\[1ex]&=-\sum _{x_{i}}p(x_{i})\,\log _{2}q(x_{i})\\[1ex]&=-\sum _{x}p(x)\,\log _{2}q(x)=H(p,q).\end{aligned}}}$$

توجد العديد من الحالات التي تتطلب قياس الانتروبيا المتقاطعة، ولكن توزيعها${\displaystyle p}$غير معروف. ومن الأمثلة على ذلك نمذجة اللغة ، حيث يتم إنشاء نموذج بناءً على مجموعة تدريب.${\displaystyle T}$ثم يتم قياس الانتروبيا المتقاطعة على مجموعة اختبار لتقييم مدى دقة النموذج في التنبؤ ببيانات الاختبار. في هذا المثال،${\displaystyle p}$يمثل التوزيع الحقيقي للكلمات في أي مجموعة بيانات، و${\displaystyle q}$يمثل هذا التوزيع توزيع الكلمات كما تنبأ به النموذج. ولأن التوزيع الحقيقي غير معروف، لا يمكن حساب الإنتروبيا المتقاطعة مباشرةً. في هذه الحالات، يتم حساب تقدير للإنتروبيا المتقاطعة باستخدام الصيغة التالية:

$${\displaystyle H(T,q)=-\sum _{i=1}^{N}{\frac {1}{N}}\log _{2}q(x_{i})}$$

أين${\displaystyle N}$حجم مجموعة الاختبار، و${\displaystyle q(x)}$احتمال وقوع الحدث${\displaystyle x}$تم تقدير ذلك من مجموعة التدريب. بعبارة أخرى،${\displaystyle q(x_{i})}$يمثل تقدير الاحتمالية للنموذج أن الكلمة رقم i في النص هي${\displaystyle x_{i}}$يتم حساب المتوسط ​​للمجموع على مدى${\displaystyle N}$كلمات الاختبار. هذا تقدير مونت كارلو للإنتروبيا التقاطعية الحقيقية، حيث تُعامل مجموعة الاختبار كعينات من${\displaystyle p(x)}$.

ينشأ الانتروبيا المتقاطع في مشاكل التصنيف عند إدخال اللوغاريتم في صورة دالة الاحتمال اللوغاريتمي .

يتناول هذا القسم تقدير احتمالات النتائج المنفصلة المختلفة. ولتحقيق هذه الغاية، نرمز إلى عائلة التوزيعات المُعَلمة بـ${\displaystyle q_{\theta }}$، مع${\displaystyle \theta }$رهناً بجهود التحسين. لنفترض وجود سلسلة محدودة معينة من${\displaystyle N}$قيم${\displaystyle x_{i}}$من مجموعة تدريبية، تم الحصول عليها من خلال أخذ عينات مستقلة شرطيًا . الاحتمالية المخصصة لأي معلمة معتبرة${\displaystyle \theta }$ثم يتم تحديد النموذج من خلال حاصل ضرب جميع الاحتمالات${\displaystyle q_{\theta }(X=x_{i})}$من الممكن حدوث تكرارات، مما يؤدي إلى عوامل متساوية في الناتج. إذا كان عدد مرات ظهور القيمة مساويًا لـ${\displaystyle x}$يُرمز إليه بـ${\displaystyle \#x}$ثم يكون تكرار تلك القيمة مساوياً${\displaystyle \#x/N}$. لو${\displaystyle p(X=x)}$يمثل التوزيع الاحتمالي الأساسي، بالنسبة للقيم الكبيرة ${\displaystyle N}$نتوقع${\displaystyle p(X=x)\approx \#x/N}$، بحسب قانون الأعداد الكبيرة .

كتابة دالة الاحتمالية لدينا كحاصل ضرب المشاهدات من التوزيع${\displaystyle q_{\theta }}$: $${\displaystyle {\begin{aligned}{\mathcal {L}}(\theta$$ ;{\mathbf {x} })&=\prod _{i}q_{\theta }(X=x_{i})=\prod _{x}q_{\theta }(X=x)^{\#x}\\&\approx \prod _{x}q_{\theta }(X=x)^{N\cdot p(X=x)}=\exp \log \left[\prod _{x}q_{\theta }(X=x)^{N\cdot p(X=x)}\right]\\&=\exp \left(\sum _{x}N\cdot p(X=x)\log q_{\theta }(X=x)^{}\right),\end{aligned}}} حيث استخدمنا قواعد حساب اللوغاريتم في السطر الأخير. لاحظ كيف يحتوي الأس على${\displaystyle -H(p,q_{\theta })}$بأخذ اللوغاريتم للطرفين نحصل على: $${\displaystyle \log {\mathcal {L}}(\theta$$ {\mathbf {x} })=-N\cdot H(p,q_{\theta }).} بما أن اللوغاريتم دالة متزايدة بشكل رتيب ، فإن القيمة القصوى لـ ${\displaystyle \theta }$لا تتأثر بهذه الخطوة الأخيرة. وبالمثل، فإن القيمة القصوى لـ ${\displaystyle \theta }$لا يتأثر بعامل${\displaystyle N}$لذا نلاحظ أن تعظيم الاحتمالية يرقى إلى تقليل الإنتروبيا المتقاطعة.

يُستخدم تقليل الإنتروبيا المتقاطعة بشكل متكرر في التحسين وتقدير احتمالية الأحداث النادرة. عند مقارنة توزيع ما${\displaystyle q}$مقابل توزيع مرجعي ثابت${\displaystyle p}$تتطابق قيم الإنتروبيا المتقاطعة وتباعد كولباك-لايبير حتى ثابت إضافي (لأن${\displaystyle p}$(ثابت): وفقًا لمتباينة جيبس ، يأخذ كلاهما قيمهما الدنيا عندما${\displaystyle p=q}$، وهو${\displaystyle 0}$بالنسبة لتباعد كولباك-لايبير، و${\displaystyle \mathrm {H} (p)}$بالنسبة للإنتروبيا المتقاطعة. في الأدبيات الهندسية، يُطلق على مبدأ تقليل تباعد كولباك-لايبير ( مبدأ كولباك "الحد الأدنى من معلومات التمييز ") غالبًا اسم مبدأ الحد الأدنى من الإنتروبيا المتقاطعة (MCE)، أو Minxent .

ومع ذلك، وكما نوقش في مقال تباعد كولباك-لايبير ، فإن التوزيع في بعض الأحيان${\displaystyle q}$هو التوزيع المرجعي المسبق الثابت، والتوزيع${\displaystyle p}$تم تحسينه ليكون أقرب ما يمكن إلى${\displaystyle q}$قدر الإمكان، مع مراعاة بعض القيود. في هذه الحالة، لا يكون التصغيران متكافئين. وقد أدى ذلك إلى بعض الغموض في الأدبيات، حيث حاول بعض المؤلفين حل هذا التناقض بإعادة صياغة مفهوم الإنتروبيا المتقاطعة على النحو التالي:${\displaystyle D_{\mathrm {KL} }(p\parallel q)}$بدلاً من${\displaystyle H(p,q)}$في الواقع، الإنتروبيا المتقاطعة هي اسم آخر للإنتروبيا النسبية ؛ انظر كوفر وتوماس ^{[ 1 ]} وجود ^{[ 2 ]} . من ناحية أخرى،${\displaystyle H(p,q)}$لا يتفق مع الأدبيات وقد يكون مضللاً.

يمكن استخدام الانتروبيا المتقاطعة لتعريف دالة الخسارة في التعلم الآلي والتحسين . يقدم ماو، وموهري، وتشونغ (2023) تحليلًا شاملًا لخصائص عائلة دوال خسارة الانتروبيا المتقاطعة في التعلم الآلي، بما في ذلك ضمانات التعلم النظرية وامتداداتها إلى التعلم التنافسي . ^{[ 3 ]} الاحتمال الحقيقي${\displaystyle p_{i}}$هو التصنيف الحقيقي، والتوزيع المعطى${\displaystyle q_{i}}$تمثل القيمة المتوقعة للنموذج الحالي. وتُعرف هذه القيمة أيضًا باسم خسارة اللوغاريتم (أو الخسارة اللوغاريتمية ^{[ 4 ]} أو الخسارة اللوجستية )؛ ^{[ 5 ]} ويُستخدم مصطلحا "خسارة اللوغاريتم" و"خسارة الإنتروبيا المتقاطعة" بشكل متبادل. ^{[ 6 ]}

وبشكل أكثر تحديدًا، ضع في اعتبارك نموذج الانحدار الثنائي الذي يمكن استخدامه لتصنيف الملاحظات إلى فئتين محتملتين (غالبًا ما يتم تسميتهما ببساطة بـ${\displaystyle 0}$و${\displaystyle 1}$). مخرجات النموذج لملاحظة معينة، بالنظر إلى متجه من خصائص الإدخال${\displaystyle x}$يمكن تفسيرها على أنها احتمال، والذي يُستخدم كأساس لتصنيف المشاهدة. في الانحدار اللوجستي ، يتم نمذجة الاحتمال باستخدام الدالة اللوجستية .${\displaystyle g(z)=1/(1+e^{-z})}$أين${\displaystyle z}$هي دالة ما لمتجه الإدخال${\displaystyle x}$وهي عادةً دالة خطية. احتمالية الناتج${\displaystyle y=1}$يُعطى بواسطة $${\displaystyle q_{y=1}={\hat {y}}\equiv g(\mathbf {w} \cdot \mathbf {x} )={\frac {1}{1+e^{-\mathbf {w} \cdot \mathbf {x} }}},}$$ حيث متجه الأوزان${\displaystyle \mathbf {w} }$يتم تحسينها من خلال خوارزمية مناسبة مثل خوارزمية التدرج الهبوطي . وبالمثل، فإن الاحتمالية التكميلية لإيجاد المخرجات${\displaystyle y=0}$يُعطى ببساطة بواسطة $${\displaystyle q_{y=0}=1-{\hat {y}}.}$$

بعد إعداد نظام التدوين الخاص بنا،${\displaystyle p\in \{y,1-y\}}$و${\displaystyle q\in \{{\hat {y}},1-{\hat {y}}\}}$يمكننا استخدام الانتروبيا المتقاطعة للحصول على مقياس للاختلاف بين${\displaystyle p}$و${\displaystyle q}$: $${\displaystyle {\begin{aligned}H(p,q)&=-\sum _{m}p_{m}\log q_{m}=-y\log {\hat {y}}-(1-y)\log(1-{\hat {y}}).\end{aligned}}}$$

عادةً ما يُحسّن الانحدار اللوجستي دالة الخسارة اللوغاريتمية لجميع المشاهدات التي يُدرّب عليها، وهو ما يُعادل تحسين متوسط ​​الإنتروبيا المتقاطعة في العينة. ويمكن أيضًا استخدام دوال خسارة أخرى تُعاقب الأخطاء بشكل مختلف للتدريب، مما ينتج عنه نماذج ذات دقة اختبار نهائية مختلفة. ^{[ 7 ]} على سبيل المثال، لنفترض أن لدينا${\displaystyle N}$عينات مع فهرسة كل عينة بواسطة${\displaystyle n=1,\dots ,N}$يُعطى متوسط ​​دالة الخسارة بالصيغة التالية :

$${\displaystyle {\begin{aligned}J(\mathbf {w} )&={\frac {1}{N}}\sum _{i=1}^{N}H(p_{i},q_{i})\\&=-{\frac {1}{N}}\sum _{i=1}^{N}\ \left[y_{i}\log {\hat {y}}_{i}+(1-y_{i})\log(1-{\hat {y}}_{i})\right],\end{aligned}}}$$

أين${\displaystyle {\hat {y}}_{i}\equiv g(\mathbf {w} \cdot \mathbf {x} _{i})=1/(1+e^{-\mathbf {w} \cdot \mathbf {x} _{i}})}$، مع${\displaystyle g(z)}$كما هو الحال مع الدالة اللوجستية كما في السابق.

إن تدرج دالة خسارة الإنتروبيا المتقاطعة للانحدار اللوجستي يساوي تدرج دالة خسارة مربع الخطأ للانحدار الخطي (حتى عامل ثابت). ولتوضيح ذلك، عرّف

$${\displaystyle X\equiv {\begin{pmatrix}1&x_{11}&\dots &x_{1p}\\1&x_{21}&\cdots &x_{2p}\\\vdots &\vdots &&\vdots \\1&x_{N1}&\cdots &x_{Np}\\\end{pmatrix}}\in \mathbb {R} ^{N\times (p+1)},}$$$${\displaystyle {\hat {y_{i}}}=g(\mathbf {w} \cdot X^{i})={\frac {1}{1+\exp(-w_{0}-w_{1}x_{i1}-\dots -w_{p}x_{ip})}},}$$$${\displaystyle L(\mathbf {w} )\equiv -\sum _{i=1}^{N}\left[y_{i}\ln {\hat {y}}_{i}+(1-y_{i})\ln(1-{\hat {y}}_{i})\right].}$$

ثم نحصل على النتيجة

$${\displaystyle \nabla _{\mathbf {w} }L(\mathbf {w} )=X^{\mathsf {T}}({\hat {\mathbf {y} }}-\mathbf {y} ).}$$

الدليل: لأي${\displaystyle {\hat {y}}_{i}}$لدينا

$${\displaystyle {\frac {\partial }{\partial w_{0}}}\ln {\hat {y}}_{i}={\frac {\partial }{\partial w_{0}}}\ln {\frac {1}{1+e^{-w_{0}+k_{0}}}}={\frac {e^{-w_{0}+k_{0}}}{1+e^{-w_{0}+k_{0}}}}=1-{\hat {y}}_{i},}$$$${\displaystyle {\frac {\partial }{\partial w_{0}}}\ln(1-{\hat {y}}_{i})={\frac {\partial }{\partial w_{0}}}\ln \left(1-{\frac {1}{1+e^{-w_{0}+k_{0}}}}\right)={\frac {-1}{1+e^{-w_{0}+k_{0}}}}=-{\hat {y}}_{i}}$$ وبالتالي $${\displaystyle {\begin{aligned}{\frac {\partial L}{\partial w_{0}}}&=-\sum _{i=1}^{N}[y_{i}(1-{\hat {y}}_{i})-(1-y_{i}){\hat {y}}_{i}]=-\sum _{i=1}^{N}[y_{i}-{\hat {y}}_{i}]=\sum _{i=1}^{N}X_{i0}({\hat {y}}_{i}-y_{i}).\end{aligned}}}$$

وبالمثل، بالنسبة لأي${\displaystyle {\hat {y}}_{i}}$و${\displaystyle j=1,\dots ,p}$لدينا $${\displaystyle {\frac {\partial }{\partial w_{j}}}\ln {\hat {y}}_{i}={\frac {\partial }{\partial w_{j}}}\ln {\frac {1}{1+e^{-w_{j}x_{ij}+k_{j}}}}={\frac {x_{ij}e^{-w_{j}x_{ij}+k_{j}}}{1+e^{-w_{j}x_{ij}+k_{j}}}}=x_{ij}(1-{\hat {y}}_{i}),}$$$${\displaystyle {\frac {\partial }{\partial w_{j}}}\ln(1-{\hat {y}}_{i})={\frac {\partial }{\partial w_{j}}}\ln \left[1-{\frac {1}{1+e^{-w_{j}x_{ij}+k_{j}}}}\right]={\frac {-x_{ij}}{1+e^{-w_{j}x_{ij}+k_{j}}}}=-x_{ij}{\hat {y}}_{i}}$$ وبالتالي $${\displaystyle {\begin{aligned}{\frac {\partial L}{\partial w_{j}}}&=-\sum _{i=1}^{N}x_{ij}[y_{i}(1-{\hat {y}}_{i})-(1-y_{i}){\hat {y}}_{i}]=\sum _{i=1}^{N}X_{ij}({\hat {y}}_{i}-y_{i}).\end{aligned}}}$$

بجمع هذه النتائج، نحصل على النتيجة المرجوة. لاحظ أننا استخدمنا هنا اللوغاريتم الطبيعي.${\displaystyle ln}$بدلاً من${\displaystyle log}$(قانوني)${\displaystyle log_{2}}$) في دالة الخسارة${\displaystyle L}$هذا ببساطة يغير النتيجة بمعامل${\displaystyle log(e)}$مع ذلك. علاوة على ذلك، بالنسبة للجميع${\displaystyle i}$أُعيد استخدامها${\displaystyle k_{0}:=-\sum _{l=1}^{p}w_{l}x_{il}}$و${\displaystyle k_{j}:=-w_{0}-\sum _{l\neq j}w_{l}x_{il}}$كثوابت بالنسبة لكل${\displaystyle w_{j}}$.

قد يكون من المفيد تدريب مجموعة من النماذج المتنوعة، بحيث يؤدي دمجها إلى زيادة دقة التنبؤ. ^{[ 8 ] [ 9 ]} بافتراض مجموعة بسيطة من${\displaystyle K}$يتم تجميع المصنفات عن طريق حساب متوسط ​​المخرجات، ثم يتم حساب الإنتروبيا المتقاطعة المعدلة بواسطة $${\displaystyle e^{k}=H(p,q^{k})-{\frac {\lambda }{K}}\sum _{j\neq k}H(q^{j},q^{k})}$$ أين${\displaystyle e^{k}}$هي دالة التكلفة لـ${\displaystyle k^{th}}$المصنف،${\displaystyle q^{k}}$هي احتمالية الناتج لـ${\displaystyle k^{th}}$المصنف،${\displaystyle p}$الاحتمال الحقيقي المراد تقديره، و${\displaystyle \lambda }$هو مُعامل بين 0 و1 يُحدد "التنوع" الذي نرغب في تحقيقه بين المجموعة. عندما${\displaystyle \lambda =0}$نريد أن يؤدي كل مصنف أفضل ما لديه بغض النظر عن المجموعة ومتى${\displaystyle \lambda =1}$نريد أن يكون المصنف متنوعًا قدر الإمكان.

• طريقة الإنتروبيا المتقاطعة
• الانحدار اللوجستي
• الإنتروبيا الشرطية
• مسافة كولباك-لايبير
• تقدير الاحتمال الأقصى
• المعلومات المتبادلة
• حيرة

• دي بوير، كروس، دي بي، مانور، إس، وروبنشتاين، آر واي (2005). دليل تعليمي حول طريقة الإنتروبيا المتقاطعة . حوليات بحوث العمليات 134 (1)، 19-67.