مبدأ أقصى إنتروبيا

يُستخدم مبدأ أقصى إنتروبيا غالبًا للحصول على توزيعات الاحتمال المسبق للاستدلال البايزي . وكان جاينز من أشد المؤيدين لهذا النهج، إذ زعم أن توزيع أقصى إنتروبيا يمثل التوزيع الأقل إفادة. ^{[ 4 ]} وقد خُصصت كمية كبيرة من الأدبيات الآن لاستنباط توزيعات أقصى إنتروبيا المسبقة وربطها بترميز القنوات . ^{[ 5 ] [ 6 ] [ 7 ] [ 8 ]}

يُعدّ مبدأ أقصى إنتروبيا قاعدة تحديث كافية للاحتمالية الجذرية . وتُعتبر حركية الاحتمالات لريتشارد جيفري حالة خاصة من استدلال أقصى إنتروبيا . مع ذلك، فإن أقصى إنتروبيا ليست تعميمًا لجميع قواعد التحديث الكافية هذه. ^{[ 9 ]}

بدلاً من ذلك، يُستعان بهذا المبدأ غالبًا لتحديد النموذج: في هذه الحالة، يُفترض أن البيانات المرصودة نفسها هي المعلومات القابلة للاختبار. تُستخدم هذه النماذج على نطاق واسع في معالجة اللغات الطبيعية . ومن أمثلة هذه النماذج الانحدار اللوجستي ، الذي يُقابل مُصنِّف أقصى إنتروبيا للملاحظات المستقلة.

كما طُبِّق مبدأ أقصى إنتروبيا في الاقتصاد وتخصيص الموارد. فعلى سبيل المثال، يستخدم نموذج بولتزمان للتقسيم العادل توزيع أقصى إنتروبيا (بولتزمان) لتخصيص الموارد أو الدخل بين الأفراد، مما يوفر نهجًا احتماليًا للعدالة التوزيعية. ^{[ 10 ]}

تُعد العائلات الأسية فئة مهمة من نماذج الاحتمالات التي يمكن اشتقاقها باستخدام مبدأ أقصى إنتروبيا ^{[ 11 ]} .

يُعدّ تقدير الكثافة المنفصلة والمتصلة أحد التطبيقات الرئيسية لمبدأ أقصى إنتروبيا . ^{[ 12 ] [ 13 ]} وكما هو الحال في مُقدِّرات آلة المتجهات الداعمة ، قد يتطلب مبدأ أقصى إنتروبيا حلّ مسألة برمجة تربيعية ، وبالتالي يُقدّم نموذج خليط متفرق كمُقدِّر الكثافة الأمثل. ومن أهم مزايا هذه الطريقة قدرتها على دمج المعلومات المسبقة في تقدير الكثافة. ^{[ 14 ]}

لدينا بعض المعلومات القابلة للاختبار I حول كمية x تأخذ قيمًا في المجموعة { x ₁ , x ₂ ,..., x _n }. نفترض أن هذه المعلومات لها شكل m قيود على توقعات الدوال f _k ؛ أي أننا نشترط أن يحقق توزيع الاحتمال لدينا قيود متباينة/مساواة العزوم:

$${\displaystyle \sum _{i=1}^{n}\Pr(x_{i})f_{k}(x_{i})\geq F_{k}\qquad k=1,\ldots ,m.}$$

حيث${\displaystyle F_{k}}$هي متغيرات قابلة للرصد. كما نشترط أن يكون مجموع كثافة الاحتمال مساوياً للواحد، وهو ما يمكن اعتباره قيداً أساسياً على دالة التطابق، ومتغير قابل للرصد يساوي 1 يعطي هذا القيد.

$${\displaystyle \sum _{i=1}^{n}\Pr(x_{i})=1.}$$

يكون توزيع الاحتمالية ذو أقصى إنتروبيا معلوماتية خاضعًا لقيود عدم المساواة/المساواة هذه على الشكل التالي: ^{[ 12 ]}

$${\displaystyle \Pr(x_{i})={\frac {1}{Z(\lambda _{1},\ldots ,\lambda _{m})}}\exp \left[\lambda _{1}f_{1}(x_{i})+\cdots +\lambda _{m}f_{m}(x_{i})\right],}$$

بالنسبة للبعض${\displaystyle \lambda _{1},\ldots ,\lambda _{m}}$يُطلق عليه أحيانًا اسم توزيع جيبس . ويتم تحديد ثابت التوحيد بواسطة:

$${\displaystyle Z(\lambda _{1},\ldots ,\lambda _{m})=\sum _{i=1}^{n}\exp \left[\lambda _{1}f_{1}(x_{i})+\cdots +\lambda _{m}f_{m}(x_{i})\right],}$$

ويُطلق عليها اصطلاحاً اسم دالة التقسيم . ( تنص نظرية بيتمان-كوبمان على أن الشرط الضروري والكافي لكي يسمح توزيع المعاينة بإحصاءات كافية ذات بُعد محدود هو أن يكون له الشكل العام لتوزيع أقصى إنتروبيا.)

تُعدّ المعاملات λ _k مُضاعفات لاغرانج. في حالة قيود المساواة، تُحدد قيمها من حل المعادلات غير الخطية.

$${\displaystyle F_{k}={\frac {\partial }{\partial \lambda _{k}}}\log Z(\lambda _{1},\ldots ,\lambda _{m}).}$$

في حالة القيود غير المتكافئة، تُحدد معاملات لاغرانج من حل برنامج تحسين محدب ذي قيود خطية. ^{[ 12 ]} في كلتا الحالتين، لا يوجد حل مغلق ، وعادةً ما يتطلب حساب معاملات لاغرانج استخدام طرق عددية .

بالنسبة للتوزيعات المستمرة ، لا يمكن استخدام إنتروبيا شانون، لأنها مُعرَّفة فقط لفضاءات الاحتمال المنفصلة. وبدلاً من ذلك، قدّم إدوين جاينز (1963، 1968، 2003) الصيغة التالية، والتي ترتبط ارتباطًا وثيقًا بالإنتروبيا النسبية (انظر أيضًا الإنتروبيا التفاضلية ).

$${\displaystyle H_{c}=-\int p(x)\log {\frac {p(x)}{q(x)}}\,dx}$$

حيث أن q ( x )، التي أطلق عليها جاينز اسم " المقياس الثابت "، تتناسب مع الكثافة الحدية للنقاط المنفصلة . سنفترض الآن أن q معلومة؛ وسنناقشها بمزيد من التفصيل بعد عرض معادلات الحل.

تُعرَّف كميةٌ وثيقة الصلة، وهي الإنتروبيا النسبية، عادةً بأنها تباعد كولباك-لايبير بين p و q (مع أنها تُعرَّف أحيانًا، بشكلٍ مُربك، بأنها معكوس هذا التباعد). ويُعرف مبدأ الاستدلال القائم على تقليل هذه الإنتروبيا، والذي وضعه كولباك، باسم مبدأ الحد الأدنى من معلومات التمييز .

لدينا بعض المعلومات القابلة للاختبار I حول كمية x تأخذ قيمًا في مجال معين من الأعداد الحقيقية (جميع التكاملات أدناه تقع على هذا المجال). نفترض أن هذه المعلومات تأخذ شكل m قيود على توقعات الدوال f _k ، أي أننا نشترط أن تحقق دالة كثافة الاحتمال لدينا قيود العزوم المتباينة (أو قيود المساواة البحتة).

$${\displaystyle \int p(x)f_{k}(x)\,dx\geq F_{k}\qquad k=1,\dotsc ,m.}$$

حيث${\displaystyle F_{k}}$هي كميات قابلة للرصد. كما نشترط أن يكون تكامل دالة كثافة الاحتمال مساوياً للواحد، وهو ما يمكن اعتباره قيداً أساسياً على دالة التطابق وكمية قابلة للرصد تساوي 1 تعطي هذا القيد.

$${\displaystyle \int p(x)\,dx=1.}$$

دالة كثافة الاحتمال ذات القيمة القصوى H _c الخاضعة لهذه القيود هي: ^{[ 15 ]}

$${\displaystyle p(x)={\frac {q(x)\exp \left[\lambda _{1}f_{1}(x)+\dotsb +\lambda _{m}f_{m}(x)\right]}{Z(\lambda _{1},\dotsc ,\lambda _{m})}}}$$

مع تحديد دالة التقسيم بواسطة

$${\displaystyle Z(\lambda _{1},\dotsc ,\lambda _{m})=\int q(x)\exp \left[\lambda _{1}f_{1}(x)+\dotsb +\lambda _{m}f_{m}(x)\right]\,dx.}$$

كما هو الحال في الحالة المنفصلة، ​​في الحالة التي تكون فيها جميع قيود العزوم عبارة عن معادلات، فإن قيم${\displaystyle \lambda _{k}}$يتم تحديد المعاملات بواسطة نظام المعادلات غير الخطية:

$${\displaystyle F_{k}={\frac {\partial }{\partial \lambda _{k}}}\log Z(\lambda _{1},\dotsc ,\lambda _{m}).}$$

في حالة قيود عزم المتباينة، يتم تحديد معاملات لاغرانج من حل برنامج التحسين المحدب . ^{[ 13 ]}

يمكن فهم دالة القياس الثابتة q ( x ) على أفضل وجه بافتراض أن x معروفة بأنها تأخذ قيمًا فقط في الفترة المحدودة ( a , b )، وأنه لا توجد معلومات أخرى معطاة. عندئذٍ تكون دالة كثافة الاحتمال ذات الإنتروبيا القصوى هي

$${\displaystyle p(x)=A\cdot q(x),\qquad a<x<b}$$

حيث A ثابت تطبيع. دالة القياس الثابتة هي في الواقع دالة الكثافة الاحتمالية المسبقة التي تُشفّر "نقص المعلومات ذات الصلة". لا يمكن تحديدها بمبدأ أقصى إنتروبيا، ويجب تحديدها بطريقة منطقية أخرى، مثل مبدأ مجموعات التحويل أو نظرية التهميش .

للاطلاع على العديد من الأمثلة على توزيعات الإنتروبيا القصوى، انظر المقالة حول توزيعات احتمالية الإنتروبيا القصوى .

لنفترض توزيع احتمالي منفصل بين${\displaystyle m}$القضايا المتنافية . يكون التوزيع الأكثر إفادة عندما تكون إحدى القضايا معروفة بصحتها. في هذه الحالة، تكون إنتروبيا المعلومات مساوية للصفر. أما التوزيع الأقل إفادة فيكون عندما لا يوجد سبب لتفضيل أي من القضايا على الأخرى. في هذه الحالة، يكون التوزيع الاحتمالي الوحيد المعقول هو التوزيع المنتظم، وعندها تكون إنتروبيا المعلومات مساوية لأقصى قيمة ممكنة.${\displaystyle \log m}$وبالتالي، يمكن اعتبار إنتروبيا المعلومات مقياسًا عدديًا يصف مدى عدم إفادتها لتوزيع احتمالي معين، ويتراوح من الصفر (مفيد تمامًا) إلى${\displaystyle \log m}$(غير مفيد على الإطلاق).

باختيارنا للتوزيع ذي أعلى إنتروبيا تسمح بها معلوماتنا، فإننا نختار، كما يُقال، أقل توزيع مُفيد ممكن. أما اختيار توزيع ذي إنتروبيا أقل فيعني افتراض معلومات لا نملكها. لذا، فإن توزيع أعلى إنتروبيا هو التوزيع المعقول الوحيد. ويعتمد الحل على المقياس المُهيمن المُمثل بـ${\displaystyle m(x)}$إلا أن هذا الأمر يمثل مصدراً لانتقادات هذا النهج، حيث أن هذا الإجراء المهيمن هو في الواقع إجراء تعسفي. ^{[ 16 ]}

الحجة التالية هي نتاج اقتراح قدمه غراهام واليس إلى إي تي جاينز عام ١٩٦٢. ^{[ ١٧ ]} وهي في جوهرها نفس الحجة الرياضية المستخدمة في إحصاءات ماكسويل-بولتزمان في الميكانيكا الإحصائية ، مع اختلاف التركيز المفاهيمي. تتميز هذه الحجة بطبيعتها التوافقية البحتة، إذ لا تشير إلى إنتروبيا المعلومات كمقياس لـ"عدم اليقين" أو "انعدام المعلومات" أو أي مفهوم آخر غير محدد بدقة. لا يُفترض وجود دالة إنتروبيا المعلومات مسبقًا ، بل يتم التوصل إليها أثناء الحجة؛ وتؤدي الحجة بشكل طبيعي إلى إجراء تعظيم إنتروبيا المعلومات، بدلًا من معالجتها بطريقة أخرى.

لنفترض أن شخصًا ما يرغب في تحديد احتمالية بين${\displaystyle m}$قضايا متنافية . لديهم بعض المعلومات القابلة للاختبار، لكنهم غير متأكدين من كيفية تضمين هذه المعلومات في تقييمهم للاحتمالات. لذلك، يتصورون التجربة العشوائية التالية. سيقومون بتوزيع${\displaystyle N}$كميات الاحتمال (قيمة كل منها)${\displaystyle 1/N}$) عشوائيا بين${\displaystyle m}$الاحتمالات. (قد يتخيل المرء أنهم سيرمون${\displaystyle N}$الكرات في${\displaystyle m}$يُجري المشاركون تجربةً على دلاء معصوبي الأعين. ولضمان العدالة قدر الإمكان، يجب أن تكون كل رمية مستقلة عن الأخرى، وأن تكون جميع الدلاء متساوية الحجم. بعد انتهاء التجربة، يتحققون من توافق توزيع الاحتمالات المُستنتج مع المعلومات المتوفرة لديهم. (لنجاح هذه الخطوة، يجب أن تكون المعلومات قيدًا مُحددًا بمجموعة مفتوحة في فضاء مقاييس الاحتمالات). إذا كانت المعلومات غير متوافقة، يرفضونها ويعيدون المحاولة. أما إذا كانت متوافقة، فسيكون تقييمهم...

$${\displaystyle p_{i}={\frac {n_{i}}{N}}}$$

أين${\displaystyle p_{i}}$هو احتمال${\displaystyle i}$^{الاقتراح رقم th} ، بينما n _i هو عدد الكمات التي تم تخصيصها لـ${\displaystyle i}$^{الفرضية} (أي عدد الكرات التي انتهى بها المطاف في الدلو)${\displaystyle i}$).

الآن، ولتقليل غموض توزيع الاحتمالات، سيكون من الضروري استخدام عدد كبير من قيم الاحتمالات. وبدلاً من إجراء التجربة العشوائية الطويلة، والتي قد تضطر إلى تكرارها، يقرر بطل الرواية ببساطة حساب النتيجة الأكثر احتمالاً واستخدامها. احتمال أي نتيجة معينة هو التوزيع متعدد الحدود .

$${\displaystyle Pr(\mathbf {p} )=W\cdot m^{-N}}$$

أين

$${\displaystyle W={\frac {N!}{n_{1}!\,n_{2}!\,\dotsb \,n_{m}!}}}$$

يُعرف أحيانًا بتعدد النتائج.

النتيجة الأكثر احتمالاً هي تلك التي تزيد من التعددية إلى أقصى حد${\displaystyle W}$بدلاً من تحقيق أقصى قدر من${\displaystyle W}$بشكل مباشر، يمكن للبطل أن يزيد بشكل مكافئ أي دالة متزايدة رتيبة لـ${\displaystyle W}$يقررون تحقيق أقصى استفادة

$${\displaystyle {\begin{aligned}{\frac {1}{N}}\log W&={\frac {1}{N}}\log {\frac {N!}{n_{1}!\,n_{2}!\,\dotsb \,n_{m}!}}\\[6pt]&={\frac {1}{N}}\log {\frac {N!}{(Np_{1})!\,(Np_{2})!\,\dotsb \,(Np_{m})!}}\\[6pt]&={\frac {1}{N}}\left(\log N!-\sum _{i=1}^{m}\log((Np_{i})!)\right).\end{aligned}}}$$

عند هذه النقطة، ولتبسيط التعبير، يأخذ البطل الحد على النحو التالي:${\displaystyle N\to \infty }$أي عندما تنتقل مستويات الاحتمالية من قيم منفصلة غير منتظمة إلى قيم متصلة سلسة. باستخدام تقريب ستيرلينغ ، وجدوا

$${\displaystyle {\begin{aligned}\lim _{N\to \infty }\left({\frac {1}{N}}\log W\right)&={\frac {1}{N}}\left(N\log N-\sum _{i=1}^{m}Np_{i}\log(Np_{i})\right)\\[6pt]&=\log N-\sum _{i=1}^{m}p_{i}\log(Np_{i})\\[6pt]&=\log N-\log N\sum _{i=1}^{m}p_{i}-\sum _{i=1}^{m}p_{i}\log p_{i}\\[6pt]&=\left(1-\sum _{i=1}^{m}p_{i}\right)\log N-\sum _{i=1}^{m}p_{i}\log p_{i}\\[6pt]&=-\sum _{i=1}^{m}p_{i}\log p_{i}\\[6pt]&=H(\mathbf {p} ).\end{aligned}}}$$

كل ما تبقى أمام البطل هو تعظيم الإنتروبيا في ظل قيود المعلومات القابلة للاختبار. وقد وجد أن توزيع الإنتروبيا القصوى هو الأكثر احتمالاً بين جميع التوزيعات العشوائية "العادلة"، وذلك عندما تتحول مستويات الاحتمالية من منفصلة إلى متصلة.

يذكر جيفين وكاتيشا (2007) أن نظرية بايز ومبدأ أقصى إنتروبيا متوافقان تمامًا، ويمكن اعتبارهما حالتين خاصتين من "طريقة أقصى إنتروبيا نسبية". ويؤكدان أن هذه الطريقة تُعيد إنتاج جميع جوانب أساليب الاستدلال البايزي التقليدية. إضافةً إلى ذلك، تفتح هذه الطريقة الجديدة المجال لمعالجة المشكلات التي لم يكن من الممكن معالجتها باستخدام مبدأ أقصى إنتروبيا أو الأساليب البايزية التقليدية بشكل منفرد. علاوة على ذلك، تُظهر دراسات حديثة (لازار 2003، وشيناخ 2005) أنه يمكن دمج مناهج الاستدلال القائمة على الإنتروبيا النسبية التكرارية (مثل الاحتمالية التجريبية والاحتمالية التجريبية المائلة أُسّيًا - انظر على سبيل المثال أوين 2001 وكيتامورا 2006) مع المعلومات المسبقة لإجراء تحليل بايزي لاحق.

ذكر جاينز أن نظرية بايز هي طريقة لحساب الاحتمالية، بينما الإنتروبيا القصوى هي طريقة لتحديد توزيع احتمالي مسبق. ^{[ 18 ]}

مع ذلك، من الممكن نظريًا إيجاد التوزيع الاحتمالي اللاحق مباشرةً من التوزيع الاحتمالي المسبق المُعطى باستخدام مبدأ الحد الأدنى للإنتروبيا المتقاطعة (أو مبدأ الحد الأقصى للإنتروبيا، وهو حالة خاصة من استخدام التوزيع المنتظم كتوزيع مسبق مُعطى)، وذلك بمعزل عن أي اعتبارات بايزية، من خلال معالجة المسألة رسميًا كمسألة تحسين مقيدة، حيث تكون دالة الإنتروبيا هي دالة الهدف. في حالة وجود قيم متوسطة مُعطاة كمعلومات قابلة للاختبار (مُعدّلة على التوزيع الاحتمالي المطلوب)، يكون التوزيع المطلوب رسميًا هو توزيع جيبس ​​(أو بولتزمان)، والذي يجب إيجاد معاييره لتحقيق الحد الأدنى للإنتروبيا المتقاطعة وتلبية المعلومات القابلة للاختبار المُعطاة.