الكثافة الحدية للنقاط المنفصلة

في نظرية المعلومات ، تعد الكثافة الحدية للنقاط المنفصلة تعديلاً لصيغة كلود شانون للإنتروبيا التفاضلية .

وقد صاغها إدوين طومسون جاينز لمعالجة العيوب في التعريف الأولي للإنتروبيا التفاضلية.

كتب شانون في الأصل الصيغة التالية لحساب إنتروبيا التوزيع المستمر، والمعروفة باسم الإنتروبيا التفاضلية :

${\displaystyle h(X)=-\int p(x)\log p(x)\,dx.}$

على عكس صيغة شانون للإنتروبيا المتقطعة، فإن هذه الصيغة ليست نتاج أي اشتقاق (إذ استبدل شانون رمز الجمع في الصيغة المتقطعة برمز التكامل)، وتفتقر إلى العديد من الخصائص التي تجعل الإنتروبيا المتقطعة مقياسًا مفيدًا للشك. فعلى وجه الخصوص، لا تبقى ثابتة عند تغيير المتغيرات ، ويمكن أن تصبح سالبة. إضافةً إلى ذلك، فهي غير صحيحة من حيث الأبعاد.${\displaystyle h(X)}$سيكون بلا أبعاد،${\displaystyle p(x)}$يجب أن يكون لديه وحدات من${\displaystyle {\frac {1}{dx}}}$وهذا يعني أن وسيط اللوغاريتم ليس بلا أبعاد كما هو مطلوب.

جادل جاينز بأن صيغة الإنتروبيا المستمرة يجب اشتقاقها بأخذ نهاية التوزيعات المنفصلة ذات الكثافة المتزايدة. ^{[ 1 ] [ 2 ]} لنفترض أن لدينا مجموعة من${\displaystyle N}$نقاط منفصلة${\displaystyle \{x_{i}\}}$بحيث في النهاية${\displaystyle N\to \infty }$تقترب كثافتها من دالة${\displaystyle m(x)}$يُطلق عليه اسم "المقياس الثابت":

${\displaystyle \lim _{N\to \infty }{\frac {1}{N}}\,({\mbox{عدد النقاط في }}a<x<b)=\int _{a}^{b}m(x)\,dx.}$

استنتج جاينز من ذلك الصيغة التالية للإنتروبيا المستمرة، والتي جادل بأنه ينبغي اعتبارها الصيغة الصحيحة:

${\displaystyle \lim _{N\rightarrow \infty }H_{N}(X)=\log(N)-\int p(x)\log {\frac {p(x)}{m(x)}}\,dx.}$

عادةً، عند كتابة هذا، يكون المصطلح${\displaystyle \log(N)}$يتم حذفها، لأنها عادةً لا تكون محدودة. لذا فإن التعريف الشائع الفعلي هو

${\displaystyle H(X)=-\int p(x)\log {\frac {p(x)}{m(x)}}\,dx.}$

حيث لا يتضح ما إذا كان${\displaystyle \log(N)}$ينبغي حذف المصطلح، ويمكن للمرء أن يكتب

${\displaystyle H_{N}(X)\sim \log(N)+H(X).}$

لاحظ أنه في صيغة جاينز،${\displaystyle m(x)}$هي دالة كثافة احتمالية. لأي قيمة محدودة${\displaystyle N}$،${\displaystyle m(x)}$يمثل كثافة منتظمة على الفضاء الكمومي المتصل المستخدم في مجموع ريمان. في النهاية،${\displaystyle m(x)}$هي الكثافة الحدية المستمرة للنقاط في التكميم المستخدم لتمثيل المتغير المستمر${\displaystyle x}$.

لنفترض أن لدينا تنسيق أرقام يأخذ شكلاً معيناً${\displaystyle N}$القيم الممكنة، موزعة وفقًا لـ${\displaystyle m(x)}$. ثم${\displaystyle H_{N}(X)}$(لو${\displaystyle N}$(كبيرة بما يكفي ليكون التقريب المستمر صالحًا) هي الإنتروبيا المنفصلة للمتغير${\displaystyle x}$في هذا الترميز. وهذا يساوي متوسط ​​عدد البتات المطلوبة لنقل هذه المعلومات، ولا يزيد عن${\displaystyle \log(N)}$. لذلك،${\displaystyle H(X)}$يمكن اعتبارها كمية المعلومات المكتسبة من خلال معرفة أن المتغير${\displaystyle x}$يتبع التوزيع${\displaystyle p(x)}$ولا يتم توزيعها بشكل منتظم على القيم الكمية الممكنة، كما هو الحال لو كانت تتبع${\displaystyle m(x)}$.${\displaystyle H(X)}$في الواقع، هو التباعد (السلبي) لكولباك-لايبير من${\displaystyle m(x)}$ل${\displaystyle p(x)}$، والتي يُنظر إليها على أنها المعلومات المكتسبة من خلال معرفة أن متغيرًا كان يُعتقد سابقًا أنه موزع على النحو التالي${\displaystyle m(x)}$يتم توزيعها فعليًا على النحو التالي:${\displaystyle p(x)}$.

تتميز صيغة جاينز للإنتروبيا المستمرة بخاصية الثبات عند تغيير المتغيرات، بشرط أن${\displaystyle m(x)}$و${\displaystyle p(x)}$تتحول بنفس الطريقة. (وهذا ما يفسر تسمية m بـ "المقياس الثابت" ). يحل هذا العديد من الصعوبات التي تنشأ عن تطبيق صيغة الإنتروبيا المستمرة لشانون. وقد أسقط جاينز نفسه${\displaystyle \log(N)}$لم يكن هذا المصطلح ذا صلة بعمله (توزيعات الإنتروبيا القصوى)، ومن غير المناسب وجود مصطلح لانهائي في الحساب. لسوء الحظ، لا يمكن تجنب ذلك إذا تم جعل التكميم دقيقًا بشكل تعسفي، كما هو الحال في الحد المستمر. لاحظ أن${\displaystyle H(X)}$كما هو مُعرَّف هنا (بدون الـ${\displaystyle \log(N)}$سيكون المصطلح دائمًا غير موجب، لأن تباعد KL سيكون دائمًا غير سالب.

إذا كان الأمر كذلك${\displaystyle m(x)}$ثابت على مدى فترة معينة من الحجم${\displaystyle r}$، و${\displaystyle p(x)}$إذا كانت قيمة الكثافة الحدية للنقاط المنفصلة (LDDP) تساوي صفرًا تقريبًا خارج تلك الفترة، فإنها ترتبط ارتباطًا وثيقًا بالإنتروبيا التفاضلية.${\displaystyle h(X)}$:

${\displaystyle H_{N}(X)\approx \log(N)-\log(r)+h(X).}$

• جاينز، إي تي (2003). نظرية الاحتمالات: منطق العلم . مطبعة جامعة كامبريدج. رقم ISBN 978-0521592710.