إنتروبيا تساليس

لقد حظيت تعميمات عائلة الدوال الأسية باستخدام الدالة الأسية q باهتمام واسع في الفيزياء الإحصائية وهندسة المعلومات . وفي مجال تعلم الآلة، اكتسبت عائلة الدوال الأسية q اهتمامًا كبيرًا نظرًا لمرونتها في نمذجة سلوك الذيل من خلال ضبط المعامل q .

تُعرَّف الدالة الأسية q ومعكوسها، اللوغاريتم q، على النحو التالي :

$${\displaystyle \exp _{q}(x)={\begin{cases}\exp(x),&{\text{if }}q=1\\\left[1+(1-q)x\right]_{+}^{\frac {1}{1-q}},&{\text{if }}q\neq 1\end{cases}}}$$

$${\displaystyle \ln _{q}(x)={\begin{cases}\ln(x),&{\text{if }}q=1\\{\frac {x^{1-q}-1}{1-q}},&{\text{if }}q\neq 1\end{cases}}}$$

أين${\displaystyle [z]_{+}:=\max\{z,0\}}$.

تستعيد هذه الدوال الدوال الأسية واللوغاريتمية القياسية في النهاية${\displaystyle q\to 1}$، أي،${\displaystyle \lim _{q\to 1}\exp _{q}(x)=\exp(x)}$و${\displaystyle \lim _{q\to 1}\ln _{q}(x)=\ln(x)}$. مثل الدالة الأسية العادية،${\displaystyle \exp _{q}(x)}$دالة رتيبة ومحدبة لـ${\displaystyle q>0}$، ويرضي${\displaystyle \exp _{q}(0)=1}$ومع ذلك، يتمثل أحد الفروق الرئيسية في أن${\displaystyle \exp _{q}(a+b)\neq \exp _{q}(a)\cdot \exp _{q}(b)}$إلا إذا${\displaystyle q=1}$.

يمكن تعريف إنتروبيا تساليس باستخدام اللوغاريتم q :

$${\displaystyle S_{q}({p_{i}})=k\sum _{i}p_{i}\ln _{q}{\frac {1}{p_{i}}}.}$$

يمثل نظير الإنتروبيا المتقاطعة القيمة المتوقعة للوغاريتم السالب q بالنسبة لتوزيع ثانٍ.${\displaystyle r}$. لذا${\textstyle {\tfrac {1}{q-1}}\left(1-\sum _{i}p_{i}^{q}\cdot {\tfrac {r_{i}}{p_{i}}}\right)}$.

استخدام${\displaystyle t=q-1}$، يمكن كتابة هذا${\displaystyle (1-E_{r}[p^{t}])/t}$. للأحجام الأصغر${\displaystyle t}$، قيم${\displaystyle p_{i}^{t}}$جميعهم يميلون إلى${\displaystyle 1}$.

الحد${\displaystyle q\to 1}$يحسب معكوس ميل${\displaystyle E_{r}[p^{t}]}$في${\displaystyle t=0}$ويتعافى المرء${\displaystyle -{\textstyle \sum _{i}}r_{i}\ln p_{i}}$لذلك بالنسبة للصغير الثابت${\displaystyle t}$، ويرتبط رفع هذا التوقع بتعظيم احتمالية اللوغاريتم .

يمكن التعبير عن اللوغاريتم بدلالة الميل من خلال${\displaystyle {\tfrac {d}{dx}}p^{x}=p^{x}\ln p}$مما ينتج عنه الصيغة التالية للإنتروبيا القياسية: $${\displaystyle S=-\lim _{x\rightarrow 1}{\tfrac {d}{dx}}\sum _{i}p_{i}^{x}=-{\textstyle \sum _{i}}p_{i}\ln p_{i}}$$ وبالمثل، فإن إنتروبيا تساليس المنفصلة تحقق ما يلي: $${\displaystyle S_{q}=-\lim _{x\rightarrow 1}D_{q}\sum _{i}p_{i}^{x}}$$ حيث D _q هي المشتقة q بالنسبة إلى x .

بفرض وجود نظامين مستقلين A و B ، حيث تحقق دالة الكثافة الاحتمالية المشتركة ما يلي:

$${\displaystyle p(A,B)=p(A)p(B),\,}$$

تحقق إنتروبيا تساليس لهذا النظام ما يلي:

$${\displaystyle S_{q}(A,B)=S_{q}(A)+S_{q}(B)+(1-q)S_{q}(A)S_{q}(B).\,}$$

يتضح من هذه النتيجة أن المعلمة${\displaystyle |1-q|}$هو مقياس للانحراف عن خاصية الجمع. في حالة q = 1،

$${\displaystyle S(A,B)=S(A)+S(B),\,}$$

وهذا ما هو متوقع لنظام جمعي. وتُعرف هذه الخاصية أحيانًا باسم "شبه الجمعية".

تنتمي العديد من التوزيعات الشائعة، مثل التوزيع الطبيعي، إلى العائلات الأسية الإحصائية . ويمكن كتابة إنتروبيا تساليس للعائلة الأسية على النحو التالي ^{[ 3 ]}

$${\displaystyle H_{q}^{T}(p_{F}(x;\theta ))={\frac {1}{1-q}}\left(e^{F(q\theta )-qF(\theta )}E_{p}{\left[e^{(q-1)k(x)}\right]}-1\right)}$$ حيث F هو مُعَدِّل اللوغاريتم الطبيعي و k هو الحد الذي يشير إلى مقياس الحامل. بالنسبة للتوزيع الطبيعي متعدد المتغيرات، يكون الحد k مساويًا للصفر، وبالتالي فإن إنتروبيا تساليس تكون في صيغة مغلقة.