توزيع احتمالية أقصى إنتروبيا

يفترض${\displaystyle S}$هي مجموعة فرعية متصلة ومغلقة من الأعداد الحقيقية${\displaystyle \mathbb {R} }$ونختار أن نحدد${\displaystyle n}$وظائف قابلة للقياس${\displaystyle f_{1},\ldots ,f_{n}}$و${\displaystyle n}$أرقام${\displaystyle a_{1},\ldots ,a_{n}.}$نحن نعتبر الفئة${\displaystyle C}$من بين جميع المتغيرات العشوائية ذات القيم الحقيقية التي تدعمها${\displaystyle S}$(أي التي تكون دالة كثافتها صفراً خارج${\displaystyle S}$) والتي تستوفي الشروط التالية${\displaystyle n}$شروط اللحظة:

$${\displaystyle \operatorname {E} [f_{j}(X)]\geq a_{j}\qquad {\text{لـ }}\quad j=1,\ldots ,n}$$

إذا كان هناك عضو في${\displaystyle C}$دالة الكثافة الخاصة بها موجبة في كل مكان${\displaystyle S,}$وإذا وُجد توزيع أقصى للإنتروبيا لـ${\displaystyle C,}$ثم كثافة احتمالها${\displaystyle p(x)}$له الشكل التالي:

$${\displaystyle p(x)=\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right)\qquad {\text{ لجميع }}~x\in S}$$

حيث نفترض أن${\displaystyle f_{0}(x)=1\,.}$الثابت${\displaystyle \lambda _{0}}$و${\displaystyle n}$مضاعفات لاغرانج${\displaystyle {\boldsymbol {\lambda }}=(\lambda _{1},\ldots ,\lambda _{n})}$حل مشكلة التحسين المقيد باستخدام${\displaystyle a_{0}=1}$(مما يضمن أن${\displaystyle p}$(يتكامل إلى الوحدة): ^{[ 4 ]}

$${\displaystyle \max _{\lambda _{0};\,{\boldsymbol {\lambda }}}\left\{\sum _{j=0}^{n}\lambda _{j}a_{j}-\int \exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right)dx\right\}\qquad ~{\text{ subject to }}~{\boldsymbol {\lambda }}\geq \mathbf {0} }$$

باستخدام شروط كاروش-كون-تاكر ، يمكن إثبات أن مسألة التحسين لها حل وحيد لأن دالة الهدف في التحسين مقعرة في${\displaystyle {\boldsymbol {\lambda }}\,.}$

لاحظ أنه عندما تكون قيود العزوم عبارة عن معادلات (بدلاً من متباينات)، أي

$${\displaystyle \operatorname {E} [f_{j}(X)]=a_{j}\qquad {\text{ لـ }}~j=1,\ldots ,n\,,}$$

ثم شرط القيد${\displaystyle {\boldsymbol {\lambda }}\geq \mathbf {0} }$يمكن حذفها، مما يجعل التحسين على مضاعفات لاغرانج غير مقيد.

يفترض${\displaystyle S=\{x_{1},x_{2},\ldots \}}$هي مجموعة فرعية منفصلة (محدودة أو غير محدودة) من الأعداد الحقيقية، والتي نختار تحديدها${\displaystyle n}$الوظائف${\displaystyle f_{1},\ldots ,f_{n}}$و${\displaystyle n}$أرقام${\displaystyle a_{1},\ldots ,a_{n}\,.}$نحن نعتبر الفئة${\displaystyle C}$من بين جميع المتغيرات العشوائية المنفصلة${\displaystyle X}$والتي يتم دعمها على${\displaystyle S}$والتي تفي بـ${\displaystyle n}$الظروف

$${\displaystyle \operatorname {E} [f_{j}(X)]\geq a_{j}\qquad ~{\text{ for }}~j=1,\ldots ,n}$$

إذا كان هناك عضو في الفئة${\displaystyle C}$والذي يُسند احتمالية موجبة لجميع أعضاء${\displaystyle S}$وإذا وُجد توزيع أقصى إنتروبيا لـ${\displaystyle C,}$إذن، يكون لهذا التوزيع الشكل التالي:

$${\displaystyle \Pr(X{=}x_{k})=\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x_{k})\right)\qquad {\text{ لـ }}~k=1,2,\ldots }$$

حيث نفترض أن${\displaystyle f_{0}=1}$والثوابت${\displaystyle \lambda _{0},\,{\boldsymbol {\lambda }}\equiv (\lambda _{1},\ldots ,\lambda _{n})}$حل مشكلة التحسين المقيد باستخدام${\displaystyle a_{0}=1}$: ^{[ 5 ]}

$${\displaystyle \max _{\lambda _{0};\,{\boldsymbol {\lambda }}}\left\{\sum _{j=0}^{n}\lambda _{j}a_{j}-\sum _{k\geq 1}\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x_{k})\right)\right\}\qquad {\text{ حيث }}~{\boldsymbol {\lambda }}\geq \mathbf {0} }$$

وكما ذكرنا سابقًا، إذا كانت شروط العزوم عبارة عن معادلات (بدلاً من متباينات)، فإن شرط القيد${\displaystyle {\boldsymbol {\lambda }}\geq \mathbf {0} }$غير موجود في عملية التحسين.

في حالة قيود المساواة، تُثبت هذه النظرية باستخدام حساب التفاضل والتكامل ومعاملات لاغرانج . ويمكن كتابة القيود على النحو التالي:

$${\displaystyle \int _{-\infty }^{\infty }f_{j}(x)p(x)\,dx=a_{j}}$$

نحن نعتبر الدالة

$${\displaystyle J(p)=\int _{-\infty }^{\infty }p(x)\ln {p(x)}\,dx-\eta _{0}\left(\int _{-\infty }^{\infty }p(x)\,dx-1\right)-\sum _{j=1}^{n}\lambda _{j}\left(\int _{-\infty }^{\infty }f_{j}(x)p(x)\,dx-a_{j}\right)}$$

أين${\displaystyle \eta _{0}}$و${\displaystyle \lambda _{j},j\geq 1}$هي معاملات لاغرانج. يضمن القيد الصفري البديهية الثانية للاحتمال . أما القيود الأخرى فهي أن قياسات الدالة تُعطى كثوابت حتى الرتبة λ.${\displaystyle n}$تصل الإنتروبيا إلى أقصى قيمة لها عندما تكون المشتقة الوظيفية مساوية للصفر:

$${\displaystyle {\frac {\delta J(p)}{\delta p}}=\ln {p(x)}+1-\eta _{0}-\sum _{j=1}^{n}\lambda _{j}f_{j}(x)=0}$$

لذلك، يجب أن يكون توزيع احتمالية الإنتروبيا القصوى في هذه الحالة على الشكل (${\displaystyle \lambda _{0}:=\eta _{0}-1}$)

$${\displaystyle p(x)=e^{-1+\eta _{0}}\,e^{\sum _{j=1}^{n}\lambda _{j}f_{j}(x)}=\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right),}$$

مع الأخذ في الاعتبار أن${\displaystyle f_{0}(x)=1}$يمكن التحقق من أن هذا هو الحل الأقصى من خلال التحقق من أن التغير حول هذا الحل يكون دائمًا سالبًا.

يفترض${\displaystyle p}$و${\displaystyle p'}$هي توزيعات تحقق قيود التوقع. لنفترض${\displaystyle \alpha \in (0,1)}$وبالنظر إلى التوزيع${\displaystyle q=\alpha \,p+(1-\alpha )\,p'}$من الواضح أن هذا التوزيع يفي بقيود التوقع، بالإضافة إلى أنه مدعوم بـ${\displaystyle \operatorname {supp} (q)=\operatorname {supp} (p)\cup \operatorname {supp} (p')\,.}$انطلاقاً من الحقائق الأساسية حول الإنتروبيا، فإن ذلك يعني${\displaystyle {\mathcal {H}}(q)\geq \alpha \,{\mathcal {H}}(p)+(1-\alpha )\,{\mathcal {H}}(p').}$وضع الحدود${\displaystyle \alpha \to 1}$و${\displaystyle \alpha \to 0\,,}$على التوالي، ينتج${\displaystyle {\mathcal {H}}(q)\geq {\mathcal {H}}(p),{\mathcal {H}}(p')\,.}$

يترتب على ذلك أن التوزيع الذي يحقق قيود التوقع ويعظم الإنتروبيا يجب أن يكون له بالضرورة نطاق كامل - أي أن التوزيع موجب تمامًا في كل مكان تقريبًا. ويترتب على ذلك أيضًا أن التوزيع الذي يعظم الإنتروبيا يجب أن يكون نقطة داخلية في فضاء التوزيعات التي تحقق قيود التوقع، أي أنه يجب أن يكون قيمة قصوى محلية. وبالتالي، يكفي إثبات أن القيمة القصوى المحلية فريدة، لإثبات أن التوزيع الذي يعظم الإنتروبيا فريد (وهذا يثبت أيضًا أن القيمة القصوى المحلية هي القيمة القصوى المطلقة).

يفترض${\displaystyle p}$و${\displaystyle p'}$هي حالات قصوى محلية. بإعادة صياغة الحسابات المذكورة أعلاه، تتميز هذه الحالات بمعاملات${\displaystyle {\boldsymbol {\lambda }},\,{\boldsymbol {\lambda }}'\in \mathbb {R} ^{n}}$عبر${\displaystyle p(x)={\exp \left\langle {\boldsymbol {\lambda }},\mathbf {f} (x)\right\rangle }/{C({\boldsymbol {\lambda }})}}$وبالمثل بالنسبة لـ${\displaystyle p',}$أين${\textstyle C({\boldsymbol {\lambda }})=\int _{\mathbb {R} }\exp \left\langle {\boldsymbol {\lambda }},\mathbf {f} (x)\right\rangle \,dx\,.}$نلاحظ الآن سلسلة من المتطابقات: من خلال تحقيق قيود التوقع واستخدام التدرجات / المشتقات الاتجاهية، نحصل على

${\displaystyle {\left.D\log C(\cdot )\right|}_{\boldsymbol {\lambda }}={\left.{\tfrac {DC(\cdot )}{C(\cdot )}}\right|}_{\boldsymbol {\lambda }}=\operatorname {E} _{p}\left[\mathbf {f} (X)\right]=\mathbf {a} }$وبالمثل بالنسبة لـ${\displaystyle {\boldsymbol {\lambda }}'~.}$تأجير${\displaystyle u={\boldsymbol {\lambda }}'-{\boldsymbol {\lambda }}\in \mathbb {R} ^{n}}$يحصل المرء على:

$${\displaystyle 0=\left\langle u,\mathbf {a} -\mathbf {a} \right\rangle ={\left.D_{u}\log C(\cdot )\right|}_{{\boldsymbol {\lambda }}'}-{\left.D_{u}\log C(\cdot )\right|}_{\boldsymbol {\lambda }}={\left.D_{u}^{2}\log C(\cdot )\right|}_{\boldsymbol {\gamma }}}$$

أين${\displaystyle {\boldsymbol {\gamma }}=\theta {\boldsymbol {\lambda }}+(1-\theta ){\boldsymbol {\lambda }}'}$بالنسبة للبعض${\displaystyle \theta \in (0,1).}$وبمواصلة الحساب، يكون لدى المرء

$${\displaystyle {\begin{aligned}0&={\left.D_{u}^{2}\log C(\cdot )\right|}_{\boldsymbol {\gamma }}\\[1ex]&={\left.D_{u}\left({\frac {D_{u}C(\cdot )}{C(\cdot )}}\right)\right|}_{\boldsymbol {\gamma }}={\left.{\frac {D_{u}^{2}C(\cdot )}{C(\cdot )}}\right|}_{\boldsymbol {\gamma }}-{\left.{\frac {{\left(D_{u}C(\cdot )\right)}^{2}}{C(\cdot )^{2}}}\right|}_{\boldsymbol {\gamma }}\\[1ex]&=\operatorname {E} _{q}\left[{\left\langle u,\mathbf {f} (X)\right\rangle }^{2}\right]-{\left(\operatorname {E} _{q}\left[\left\langle u,\mathbf {f} (X)\right\rangle \right]\right)}^{2}\\[2ex]&=\operatorname {Var} _{q}\left[\left\langle u,\mathbf {f} (X)\right\rangle \right]\end{aligned}}}$$

أين${\displaystyle q}$يشبه التوزيع المذكور أعلاه، ولكنه مُعَلم بواسطة${\displaystyle {\boldsymbol {\gamma }}~,}$بافتراض عدم وجود توليفة خطية غير تافهة من المتغيرات القابلة للرصد ثابتة تقريبًا في كل مكان (ae)، (وهو ما يتحقق على سبيل المثال إذا كانت المتغيرات القابلة للرصد مستقلة وليست ثابتة تقريبًا في كل مكان)، فإنه يتحقق ما يلي:${\displaystyle \langle u,\mathbf {f} (X)\rangle }$له تباين غير صفري، إلا إذا${\displaystyle u=0~.}$يتضح من المعادلة أعلاه أن الاحتمال الأخير هو الصحيح.${\displaystyle {\boldsymbol {\lambda }}'-{\boldsymbol {\lambda }}=u=0\,,}$لذا فإن المعلمات التي تميز القيم القصوى المحلية${\displaystyle p,\,p'}$متطابقة، مما يعني أن التوزيعات نفسها متطابقة. وبالتالي، فإن القيمة القصوى المحلية فريدة، وبناءً على ما سبق، فإن القيمة العظمى فريدة أيضًا - بشرط وجود قيمة قصوى محلية بالفعل.

لاحظ أنه ليس كل فئات التوزيعات تحتوي على توزيع ذي إنتروبيا قصوى. من الممكن أن تحتوي فئة ما على توزيعات ذات إنتروبيا كبيرة كيفما اتفق (مثل فئة جميع التوزيعات المستمرة على R بمتوسط ​​0 وانحراف معياري كيفما اتفق)، أو أن تكون قيم الإنتروبيا محدودة من الأعلى ولكن لا يوجد توزيع يحقق الإنتروبيا القصوى. ^{[ أ ]} من الممكن أيضًا أن قيود القيمة المتوقعة للفئة C تجبر توزيع الاحتمال على أن يكون صفرًا في مجموعات فرعية معينة من S. في هذه الحالة، لا تنطبق نظريتنا، ولكن يمكن تجاوز ذلك بتقليص المجموعة S.

التوزيع المنتظم على الفترة [ a , b ] هو توزيع ذو أعلى إنتروبيا بين جميع التوزيعات المستمرة التي تقع ضمن هذه الفترة، وبالتالي فإن كثافة الاحتمال تساوي صفرًا خارج هذه الفترة. يمكن ربط هذه الكثافة المنتظمة بمبدأ لابلاس للحياد ، والذي يُسمى أحيانًا مبدأ السبب غير الكافي. وبشكل أعم، إذا أُعطينا تقسيمًا فرعيًا a = a₀ < a₁ _< ... < _aₖ = b للفترة [ a , b ] _، واحتمالات p₁ _, ..., pₖ مجموعها يساوي واحدًا، فيمكننا حينها اعتبار فئة جميع التوزيعات المستمرة التي تحقق ما _يلي :$${\displaystyle \Pr(a_{j-1}\leq X<a_{j})=p_{j}\quad {\text{ for }}j=1,\ldots ,k}$$ تكون كثافة توزيع الإنتروبيا القصوى لهذه الفئة ثابتة على كل فترة من الفترات [ a _{j −1} , a _j ). ويُعد التوزيع المنتظم على المجموعة المنتهية { x ₁ , ..., x _n } (الذي يُخصص احتمال 1/ n لكل قيمة من هذه القيم) هو توزيع الإنتروبيا القصوى بين جميع التوزيعات المنفصلة المدعومة على هذه المجموعة.

التوزيع الأسي ، الذي تكون دالة كثافته

$${\displaystyle p(x|\lambda )={\begin{cases}\lambda e^{-\lambda x}&x\geq 0,\\0&x<0,\end{cases}}}$$

هو توزيع الإنتروبيا الأقصى بين جميع التوزيعات المستمرة المدعومة في [0,∞) والتي لها متوسط ​​محدد 1/λ.

في حالة التوزيعات المدعومة على الفترة [0,∞)، يعتمد توزيع الإنتروبيا القصوى على العلاقات بين العزمين الأول والثاني. في حالات محددة، قد يكون التوزيع أسيًا، أو قد يكون توزيعًا آخر، أو قد يكون غير قابل للتحديد. ^{[ 8 ]}

التوزيع الطبيعي N ( μ , σ² ⁾ ، الذي تكون دالة كثافته

$${\displaystyle p(x|\mu ,\sigma )={\frac {1}{\sigma {\sqrt {2\pi }}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}},}$$

^{تتمتع هذه} الدالة بأعلى إنتروبيا بين جميع التوزيعات الحقيقية ذات القيم المحددة على ^{الفترة (} −∞ ,∞) بتباين محدد σ² ( لحظة معينة ). وينطبق الأمر نفسه عند تحديد المتوسط ​​μ والتباين σ² (اللحظتان الأوليان)، لأن الإنتروبيا ثابتة تحت الإزاحة على الفترة ( −∞ ,∞). لذا، فإن افتراض التوزيع الطبيعي يفرض الحد الأدنى من القيد الهيكلي المسبق بعد هاتين اللحظتين. (انظر مقالة الإنتروبيا التفاضلية للاطلاع على الاشتقاق).

من بين جميع التوزيعات المنفصلة المدعومة على المجموعة { x ₁ ,..., x _n } بمتوسط ​​محدد μ، فإن توزيع الإنتروبيا القصوى له الشكل التالي: $${\displaystyle \Pr(X{=}x_{k})=Cr^{x_{k}}\quad {\text{ for }}k=1,\ldots ,n}$$ حيث يمكن تحديد الثوابت الموجبة C و r من خلال المتطلبات التي تنص على أن مجموع كل الاحتمالات يجب أن يكون 1 وأن ​​القيمة المتوقعة يجب أن تكون μ.

على سبيل المثال، إذا تم رمي عدد كبير N من النرد، وقيل لك إن مجموع جميع الأرقام الظاهرة هو S ، فما هو الافتراض المعقول لعدد النرد الذي يُظهر الأرقام 1، 2، ...، 6؟ هذه حالة من الحالات المذكورة أعلاه، حيث { x ₁ , ... , x ₆ } = {1,...,6} و μ = S / N.

وأخيرًا، من بين جميع التوزيعات المنفصلة المدعومة على المجموعة اللانهائية${\displaystyle \{x_{1},x_{2},...\}}$بمتوسط ​​μ ، يكون لتوزيع الإنتروبيا القصوى الشكل التالي: $${\displaystyle \Pr(X{=}x_{k})=Cr^{x_{k}}\quad {\text{ for }}k=1,2,\ldots ,}$$ حيث تم تحديد الثابتين C و r مرة أخرى بناءً على الشرطين التاليين: أن يكون مجموع جميع الاحتمالات مساويًا لـ 1 وأن ​​تكون القيمة المتوقعة مساوية لـ μ. على سبيل المثال، في حالة x _k = k ، فإن هذا يعطي $${\displaystyle C={\frac {1}{\mu -1}},\quad \quad r={\frac {\mu -1}{\mu }},}$$

بحيث يكون توزيع الإنتروبيا القصوى المقابل هو التوزيع الهندسي .

بالنسبة لمتغير عشوائي مستمر${\displaystyle \theta _{i}}$يتم توزيعها حول دائرة الوحدة، فإن توزيع فون ميزس يزيد من الإنتروبيا عندما يتم تحديد الأجزاء الحقيقية والخيالية للعزم الدائري الأول ^{[ 9 ]} أو، بشكل مكافئ، يتم تحديد المتوسط ​​الدائري والتباين الدائري .

عندما يكون متوسط ​​وتباين الزوايا${\displaystyle \theta _{i}}$modulo${\displaystyle 2\pi }$عند تحديدها، فإن التوزيع الطبيعي الملتف يزيد من الإنتروبيا. ^{[ 9 ]}

يوجد حد أعلى لإنتروبيا المتغيرات العشوائية المستمرة على${\displaystyle \mathbb {R} }$بمتوسط ​​وتباين وانحراف محددين. ومع ذلك، لا يوجد توزيع يحقق هذا الحد الأعلى ، لأن${\displaystyle p(x)=c\exp {(\lambda _{1}x+\lambda _{2}x^{2}+\lambda _{3}x^{3})}}$يكون غير محدود عندما${\displaystyle \lambda _{3}\neq 0}$(انظر Cover  & Thomas (2006: الفصل 12)).

مع ذلك، فإن أقصى إنتروبيا يمكن بلوغها بقيمة ε : إذ يمكن أن تكون إنتروبيا التوزيع قريبة جدًا من الحد الأعلى. لنبدأ بتوزيع طبيعي ذي متوسط ​​وتباين محددين. لإدخال التواء موجب، نُجري تغييرًا طفيفًا على التوزيع الطبيعي بزيادة مقدارها σ أكبر من المتوسط. سيتأثر الالتواء، كونه متناسبًا مع العزم الثالث، أكثر من العزوم ذات الرتب الأدنى.

هذه حالة خاصة من الحالة العامة التي يكون فيها الأس لأي متعدد حدود من الرتبة الفردية في x غير محدود على${\displaystyle \mathbb {R} }$. على سبيل المثال،${\displaystyle ce^{\lambda x}}$وسيكون كذلك بلا حدود على${\displaystyle \mathbb {R} }$، ولكن عندما يقتصر الدعم على فترة محدودة أو شبه محدودة، يمكن تحقيق الحد الأعلى للإنتروبيا (على سبيل المثال، إذا كان x يقع في الفترة [0، ∞ ] و λ <  0 ، فسينتج التوزيع الأسي ).

كل توزيع ذي كثافة لوغاريتمية مقعرة هو توزيع ^{إنتروبيا} قصوى بمتوسط ​​محدد μ ومقياس مخاطر الانحراف D.  [ ^{10 ]}

وعلى وجه الخصوص، توزيع الإنتروبيا الأقصى بمتوسط ​​محدد${\displaystyle E(X)\equiv \mu }$والانحراف${\displaystyle D(X)\equiv d}$يكون:

• التوزيع الطبيعي${\displaystyle {\mathcal {N}}(m,d^{2}),}$لو${\textstyle D(X)={\sqrt {\operatorname {E} \left[{\left(X-\mu \right)}^{2}\right]}}}$هو الانحراف المعياري ؛
• توزيع لابلاس ، إذا${\displaystyle D(X)=\operatorname {E} \left\{\left|X-\mu \right|\right\}}$هو متوسط ​​الانحراف المطلق ؛ ^{[ 6 ]}
• التوزيع ذو الكثافة من الشكل${\displaystyle f(x)=c\exp \left(ax+b{\downharpoonright x-\mu \downharpoonleft }_{-}^{2}\right)}$لو${\textstyle D(X)={\sqrt {\operatorname {E} \left\{{\downharpoonright X-\mu \downharpoonleft }_{-}^{2}\right\}}}}$يمثل الانحراف المعياري الأدنى، حيث${\displaystyle a,b,c}$هي ثوابت والدالة${\displaystyle \downharpoonright y\downharpoonleft _{-}\equiv \min \left\{0,y\right\}~{\text{ for any }}y\in \mathbb {R} \,,}$تُرجع الدالة القيم السالبة فقط لمتغيرها، وإلا تُرجع صفرًا. ^{[ 10 ]}

في الجدول أدناه، يعمل كل توزيع مدرج على زيادة الإنتروبيا لمجموعة معينة من القيود الوظيفية المدرجة في العمود الثالث، والقيد الذي${\displaystyle x}$يجب تضمينها في نطاق كثافة الاحتمال، المدرجة في العمود الرابع. ^{[ 6 ] [ 7 ]}

تُعدّ العديد من الأمثلة المذكورة ( برنولي ، الهندسي ، الأسي ، لابلاس ، باريتو ) صحيحة بشكل بديهي، لأن القيود المرتبطة بها تُكافئ تحديد إنتروبيتها. ومع ذلك، فقد تم إدراجها لأن قيودها مرتبطة بكمية شائعة أو يسهل قياسها.

للعلم،${\displaystyle \Gamma (x)=\int _{0}^{\infty }e^{-t}t^{x-1}\,dt}$دالة غاما ،${\displaystyle \psi (x)={\frac {d}{dx}}\ln \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}}$دالة ديغاما ،${\displaystyle B(p,q)={\frac {\Gamma (p)\,\Gamma (q)}{\Gamma (p+q)}}}$هي دالة بيتا ، و${\displaystyle \gamma _{\mathsf {E}}}$هو ثابت أويلر-ماسكيروني .

جدول توزيعات الاحتمالات وقيود الإنتروبيا القصوى المقابلة

اسم التوزيع	دالة كثافة الاحتمال / دالة الكتلة	قيد أقصى إنتروبيا	يدعم
موحد (منفصل)	${\displaystyle f(k)={\frac {1}{b-a+1}}}$	لا أحد	${\displaystyle \{a,a+1,...,b-1,b\}}$
منتظم (مستمر)	${\displaystyle f(x)={\frac {1}{b-a}}}$	لا أحد	${\displaystyle [a,b]}$
برنولي	${\displaystyle f(k)=p^{k}{\left(1-p\right)}^{1-k}}$	${\displaystyle \operatorname {E} [K]=p}$	${\displaystyle \{0,1\}}$
هندسي	${\displaystyle f(k)={\left(1-p\right)}^{k-1}p}$	${\displaystyle \operatorname {E} [K]={\frac {1}{p}}}$	${\displaystyle \mathbb {N} \setminus \left\{0\right\}=\{1,2,3,...\}}$
النمو الأسي	${\displaystyle f(x)=\lambda \exp \left(-\lambda x\right)}$	${\displaystyle \operatorname {E} [X]={\frac {1}{\lambda }}}$	${\displaystyle [0,\infty )}$
لابلاس	${\displaystyle f(x)={\frac {1}{2b}}\exp \left(-{\frac {|x-\mu |}{b}}\right)}$	${\displaystyle \operatorname {E} [|X-\mu |]=b}$	${\displaystyle \mathbb {R} }$
لابلاس غير متماثل	${\displaystyle f(x)={\frac {\lambda \exp \left[-(x-m)\,\lambda \,s\,\kappa ^{s}\right]}{\kappa +{\frac {1}{\kappa }}}}}$أين${\displaystyle ~s\equiv \operatorname {sgn}(x-m)}$	${\displaystyle \operatorname {E} \left[(X-m)s\kappa ^{s}\right]={\frac {1}{\lambda }}}$	${\displaystyle \mathbb {R} }$
باريتو	${\displaystyle f(x)={\frac {\alpha x_{m}^{\alpha }}{x^{\alpha +1}}}}$	${\displaystyle \operatorname {E} [\ln X]={\frac {1}{\alpha }}+\ln(x_{m})}$	${\displaystyle [x_{m},\infty )}$
طبيعي	${\displaystyle f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)}$	${\displaystyle \operatorname {E} [X]=\mu \,,}$${\displaystyle \operatorname {E} \left[X^{2}\right]=\sigma ^{2}+\mu ^{2}}$	${\displaystyle \mathbb {R} }$
عادي مبتور	(انظر المقال)	${\displaystyle \operatorname {E} \left[X\right]=\mu _{\mathsf {T}}\,,}$${\displaystyle \operatorname {E} \left[X^{2}\right]=\sigma _{\mathsf {T}}^{2}+\mu _{\mathsf {T}}^{2}}$	${\displaystyle [a,b]}$
فون ميزس	${\displaystyle f(\theta )={\frac {1}{2\pi I_{0}(\kappa )}}\exp \left(\kappa \cos {(\theta -\mu )}\right)}$	${\displaystyle \operatorname {E} [\cos \Theta ]={\frac {I_{1}(\kappa )}{I_{0}(\kappa )}}\cos \mu \,,}$${\displaystyle \operatorname {E} [\sin \Theta ]={\frac {I_{1}(\kappa )}{I_{0}(\kappa )}}\sin \mu }$	${\displaystyle [0,2\pi )}$
رايلي	${\displaystyle f(x)={\frac {x}{\sigma ^{2}}}\exp \left(-{\frac {x^{2}}{2\sigma ^{2}}}\right)}$	${\displaystyle \operatorname {E} \left[X^{2}\right]=2\sigma ^{2}\,,}$${\displaystyle \operatorname {E} [\ln X]={\frac {\ln(2\sigma ^{2})-\gamma _{\mathrm {E} }}{2}}}$	${\displaystyle [0,\infty )}$
بيتا	${\displaystyle f(x)={\frac {x^{\alpha -1}(1-x)^{\beta -1}}{B(\alpha ,\beta )}}}$ل${\displaystyle 0\leq x\leq 1}$	${\displaystyle \operatorname {E} [\ln X]=\psi (\alpha )-\psi (\alpha +\beta )\,,}$${\displaystyle \operatorname {E} [\ln(1-X)]=\psi (\beta )-\psi (\alpha +\beta )}$	${\displaystyle [0,1]}$
كوشي	${\displaystyle f(x)={\frac {1}{\pi \left(1+x^{2}\right)}}}$	${\displaystyle \operatorname {E} \left[\ln \left(1+X^{2}\right)\right]=2\ln 2}$	${\displaystyle \mathbb {R} }$
تشي	${\displaystyle f(x)={\frac {2}{2^{k/2}\Gamma (k/2)}}x^{k-1}\exp \left(-{\frac {x^{2}}{2}}\right)}$	${\displaystyle \operatorname {E} \left[X^{2}\right]=k\,,}$${\displaystyle \operatorname {E} [\ln X]={\frac {1}{2}}\left[\psi {\left({\frac {k}{2}}\right)}+\ln(2)\right]}$	${\displaystyle [0,\infty )}$
مربع كاي	${\displaystyle f(x)={\frac {1}{2^{k/2}\Gamma (k/2)}}x^{{\frac {k}{2}}\!-\!1}\exp \left(-{\frac {x}{2}}\right)}$	${\displaystyle \operatorname {E} [X]=k\,,}$${\displaystyle \operatorname {E} [\ln X]=\psi {\left({\frac {k}{2}}\right)}+\ln(2)}$	${\displaystyle [0,\infty )}$
إرلانغ	${\displaystyle f(x)={\frac {\lambda ^{k}}{(k-1)!}}x^{k-1}\exp(-\lambda x)}$	${\displaystyle \operatorname {E} [X]=k/\lambda \,,}$ ${\displaystyle \operatorname {E} [\ln X]=\psi (k)-\ln(\lambda )}$	${\displaystyle [0,\infty )}$
جاما	${\displaystyle f(x)={\frac {x^{k-1}e^{-x/\theta }}{\theta ^{k}\Gamma (k)}}}$	${\displaystyle \operatorname {E} [X]=k\theta \,,}$${\displaystyle \operatorname {E} [\ln X]=\psi (k)+\ln \theta }$	${\displaystyle [0,\infty )}$
التوزيع اللوغاريتمي الطبيعي	${\displaystyle f(x)={\frac {1}{\sigma x{\sqrt {2\pi }}}}\exp \left(-{\frac {{\left(\ln x-\mu \right)}^{2}}{2\sigma ^{2}}}\right)}$	${\displaystyle \operatorname {E} \left[\ln X\right]=\mu \,,}$${\displaystyle \operatorname {E} \left[\ln(X)^{2}\right]=\sigma ^{2}+\mu ^{2}}$	${\displaystyle (0,\infty )}$
ماكسويل-بولتزمان	${\displaystyle f(x)={\frac {1}{a^{3}}}{\sqrt {\frac {2}{\pi }}}x^{2}\exp \left(-{\frac {x^{2}}{2a^{2}}}\right)}$	${\displaystyle \operatorname {E} \left[X^{2}\right]=3a^{2}\,,}$${\displaystyle \operatorname {E} \left[\ln X\right]=1+\ln \left({\frac {a}{\sqrt {2}}}\right)-{\frac {\gamma _{\mathrm {E} }}{2}}}$	${\displaystyle [0,\infty )}$
ويبول	${\displaystyle f(x)={\frac {k}{\lambda ^{k}}}x^{k-1}\exp \left(-{\frac {x^{k}}{\lambda ^{k}}}\right)}$	${\displaystyle \operatorname {E} \left[X^{k}\right]=\lambda ^{k},}$${\displaystyle \operatorname {E} \left[\ln X\right]=\ln(\lambda )-{\frac {\gamma _{\mathrm {E} }}{k}}}$	${\displaystyle [0,\infty )}$
التوزيع الطبيعي متعدد المتغيرات	${\displaystyle f_{X}(\mathbf {x} )={\frac {\exp \left[-{\frac {1}{2}}\left(\mathbf {x} -{\boldsymbol {\mu }}\right)^{\mathsf {T}}\Sigma ^{-1}\left(\mathbf {x} -{\boldsymbol {\mu }}\right)\right]}{\sqrt {{\left(2\pi \right)}^{N}\left|\Sigma \right|}}}}$	${\displaystyle \operatorname {E} \left[\mathbf {x} \right]={\boldsymbol {\mu }},}$${\displaystyle \operatorname {E} \left[(\mathbf {x} -{\boldsymbol {\mu }})(\mathbf {x} -{\boldsymbol {\mu }})^{\mathsf {T}}\right]=\Sigma }$	${\displaystyle \mathbb {R} ^{n}}$
ذات الحدين	${\displaystyle f(k)={\binom {n}{k}}p^{k}{\left(1-p\right)}^{n-k}}$	${\displaystyle \operatorname {E} [X]=\mu \,,}$${\displaystyle f\in }$التوزيع الثنائي المعمم من الرتبة n [ 11 ]	${\displaystyle \left\{0,{\ldots },n\right\}}$
بواسون	${\displaystyle f(k)={\frac {\lambda ^{k}e^{-\lambda }}{k!}}}$	${\displaystyle \operatorname {E} [X]=\lambda ,}$${\displaystyle f\in \infty }$التوزيع الثنائي المعمم [ 11 ]	${\displaystyle \mathbb {N} =\left\{0,1,{\ldots }\right\}}$
الخدمات اللوجستية	${\displaystyle f(x)={\frac {e^{-x}}{\left(1+e^{-x}\right)^{2}}}={\frac {e^{+x}}{\left(e^{+x}+1\right)^{2}}}}$	${\displaystyle \operatorname {E} [X]=0,}$${\displaystyle \operatorname {E} \left[\ln \left(1+e^{-X}\right)\right]=1}$	${\displaystyle \left\{-\infty ,\infty \right\}}$
توزيع تشكيل المجموعة العشوائية [ 12 ]	${\displaystyle f(k)={\frac {Ae^{-bk}}{k^{\gamma }}}}$	${\displaystyle \sum _{k}f(k)\ln(kN(k))}$، أين${\displaystyle N(k)}$أحجام المجموعات.	${\displaystyle [0,\infty )}$

يمكن استخدام مبدأ أقصى إنتروبيا لتحديد الحد الأعلى لإنتروبيا الخلائط الإحصائية. ^{[ 13 ]}