الإنتروبيا التفاضلية

الإنتروبيا التفاضلية (المشار إليها أيضًا باسم الإنتروبيا المستمرة ) في نظرية المعلومات هي خاصية لتوزيعات الاحتمالات المستمرة المطلقة والتي تعمم إنتروبيا شانون إلى توزيعات الاحتمالات المستمرة.

من حيث نظرية القياس ، فإن الإنتروبيا التفاضلية لمقياس الاحتمال هي الإنتروبيا النسبية السالبة من ذلك المقياس إلى مقياس ليبيغ ، حيث يتم التعامل مع الأخير كما لو كان مقياس احتمال، على الرغم من كونه غير معياري.

يترك${\displaystyle X}$ليكن متغيرًا عشوائيًا بدالة كثافة احتمالية${\displaystyle f}$التي يمثل دعمها مجموعة${\displaystyle {\mathcal {X}}}$الإنتروبيا التفاضلية${\displaystyle h(X)}$أو${\displaystyle h(f)}$يُعرَّف على النحو التالي: ^{[ 1 ] : 243}

بالنسبة لتوزيعات الاحتمالات التي لا تحتوي على تعبير صريح لدالة الكثافة، ولكن لها تعبير صريح لدالة الكمية ،${\displaystyle Q(p)}$، ثم${\displaystyle h(Q)}$يمكن تعريفها بدلالة مشتقة${\displaystyle Q(p)}$أي دالة كثافة الكمية${\displaystyle Q'(p)}$كما في ^{[ 2 ] : 54-59}

$${\displaystyle h(Q)=\int _{0}^{1}\log Q'(p)\,dp.}$$

كما هو الحال مع نظيره المتقطع، تعتمد وحدات الإنتروبيا التفاضلية على أساس اللوغاريتم ، والذي يكون عادةً 2 (أي أن الوحدات هي بتات ). راجع قسم الوحدات اللوغاريتمية للاطلاع على اللوغاريتمات المأخوذة بأسس مختلفة. تُعرَّف المفاهيم ذات الصلة، مثل الإنتروبيا التفاضلية المشتركة ، والإنتروبيا التفاضلية الشرطية ، والإنتروبيا النسبية ، بطريقة مماثلة. على عكس نظيره المتقطع، فإن للإنتروبيا التفاضلية إزاحة تعتمد على الوحدات المستخدمة في القياس.${\displaystyle X}$^{[ 3 ] : 183-184} على سبيل المثال ، سيكون الانتروبيا التفاضلي لكمية مقاسة بالملليمترات أكبر بمقدار log(1000) من نفس الكمية المقاسة بالأمتار؛ وستكون للكمية عديمة الأبعاد انتروبيا تفاضلية أكبر بمقدار log(1000) من نفس الكمية مقسومة على 1000.

يجب توخي الحذر عند محاولة تطبيق خصائص الإنتروبيا المنفصلة على الإنتروبيا التفاضلية، لأن دوال كثافة الاحتمال قد تكون أكبر من 1. على سبيل المثال، التوزيع المنتظم${\displaystyle {\mathcal {U}}(0,1/2)}$له إنتروبيا تفاضلية سالبة ؛ أي أنه أكثر ترتيبًا من${\displaystyle {\mathcal {U}}(0,1)}$كما هو موضح الآن

$${\displaystyle \int _{0}^{\frac {1}{2}}-2\log(2)\,dx=-\log(2)\,}$$

كونه أقل من ذلك${\displaystyle {\mathcal {U}}(0,1)}$والتي لها إنتروبيا تفاضلية تساوي صفرًا . وبالتالي، فإن الإنتروبيا التفاضلية لا تشترك في جميع خصائص الإنتروبيا المنفصلة.

المعلومات المتبادلة المستمرة${\displaystyle I(X;Y)}$يتميز هذا المقياس باحتفاظه بأهميته الأساسية كمقياس للمعلومات المنفصلة، ​​لأنه في الواقع يمثل نهاية المعلومات المتبادلة المنفصلة لتقسيمات${\displaystyle X}$و${\displaystyle Y}$مع ازدياد دقة هذه التقسيمات. وبالتالي، فهي ثابتة تحت التحويلات المتماثلة غير الخطية (الخرائط المتصلة والقابلة للعكس بشكل فريد)، ^{[ 4 ]} بما في ذلك التحويلات الخطية ^{[ 5 ] لـ}${\displaystyle X}$و${\displaystyle Y}$ولا يزال يمثل مقدار المعلومات المنفصلة التي يمكن نقلها عبر قناة تسمح بمساحة متصلة من القيم.

للاطلاع على النظير المباشر للإنتروبيا المنفصلة الممتدة إلى الفضاء المستمر، انظر الكثافة الحدية للنقاط المنفصلة .

• بالنسبة لكثافات الاحتمال${\displaystyle f}$و${\displaystyle g}$تباعد كولباك-لايبير${\displaystyle D_{KL}(f\parallel g)}$تكون أكبر من أو تساوي صفرًا، ولا يتحقق التساوي إلا إذا${\displaystyle f=g}$في كل مكان تقريبًا . وبالمثل، بالنسبة لمتغيرين عشوائيين${\displaystyle X}$و${\displaystyle Y}$،${\displaystyle I(X;Y)\geq 0}$و${\displaystyle h(X\mid Y)\leq h(X)}$مع المساواة إذا وفقط إذا${\displaystyle X}$و${\displaystyle Y}$مستقلون .​
• تنطبق قاعدة السلسلة للإنتروبيا التفاضلية كما في الحالة المنفصلة ^{[ 1 ] : 253}$${\displaystyle h(X_{1},\ldots ,X_{n})=\sum _{i=1}^{n}h(X_{i}\mid X_{1},\ldots ,X_{i-1})\leq \sum _{i=1}^{n}h(X_{i}).}$$
• الإنتروبيا التفاضلية ثابتة تحت الإزاحة، أي بالنسبة لثابت${\displaystyle c}$[ ^{1 ] : 253​}$${\displaystyle h(X+c)=h(X)}$$
• لا يكون الانتروبيا التفاضلية ثابتًا بشكل عام تحت أي تحويلات قابلة للعكس.
  على وجه الخصوص، بالنسبة لثابت${\displaystyle a}$،$${\displaystyle h(aX)=h(X)+\log |a|}$$
  بالنسبة لمتغير عشوائي ذي قيم متجهة${\displaystyle \mathbf {X} }$ومصفوفة قابلة للعكس (مربعة)${\displaystyle \mathbf {A} }$^{[ 1 ] : 253}$${\displaystyle h(\mathbf {A} \mathbf {X} )=h(\mathbf {X} )+\log \left(\left|\det \mathbf {A} \right|\right)}$$
• بشكل عام، بالنسبة للتحويل من متجه عشوائي إلى متجه عشوائي آخر له نفس البعد${\displaystyle \mathbf {Y} =m\left(\mathbf {X} \right)}$وترتبط قيم الإنتروبيا المقابلة عبر$${\displaystyle h(\mathbf {Y} )\leq h(\mathbf {X} )+\int f(x)\log \left\vert {\frac {\partial m}{\partial x}}\right\vert \,dx}$$أين${\displaystyle \left\vert {\frac {\partial m}{\partial x}}\right\vert }$هو جاكوبيان التحويل${\displaystyle m}$^{[ 6 ]} تصبح المتباينة أعلاه مساواة إذا كان التحويل تقابلًا. علاوة على ذلك، عندما${\displaystyle m}$إذا كانت الحركة دورانًا أو انتقالًا صلبًا، أو مزيجًا منهما، فإن محدد جاكوبي يكون دائمًا 1، و${\displaystyle h(Y)=h(X)}$.
• إذا كان متجهًا عشوائيًا${\displaystyle X\in \mathbb {R} ^{n}}$له متوسط ​​يساوي صفرًا ومصفوفة تباين${\displaystyle K}$،${\textstyle h(\mathbf {X} )\leq {\frac {1}{2}}\log(\det {2\pi eK})={\frac {1}{2}}\log[(2\pi e)^{n}\det {K}]}$مع المساواة إذا وفقط إذا${\displaystyle X}$هو توزيع غاوسي مشترك (انظر أدناه ). ^{[ 1 ] : 254}

ومع ذلك، فإن الانتروبيا التفاضلية لا تمتلك خصائص مرغوبة أخرى:

• إنها ليست ثابتة عند تغيير المتغيرات ، وبالتالي فهي أكثر فائدة مع المتغيرات عديمة الأبعاد.
• قد يكون الأمر سلبياً.

إن تعديل الإنتروبيا التفاضلية الذي يعالج هذه العيوب هو إنتروبيا المعلومات النسبية ، والمعروفة أيضًا باسم تباعد كولباك-لايبير، والذي يتضمن عامل قياس ثابت (انظر الكثافة الحدية للنقاط المنفصلة ).

يترك${\displaystyle X}$ليكن متغيرًا عشوائيًا موزعًا أُسّيًا بمعامل${\displaystyle \lambda }$أي، باستخدام دالة كثافة الاحتمال

$${\displaystyle f(x)=\lambda e^{-\lambda x}{\text{ for }}x\geq 0.}$$

إذن، إنتروبيا التفاضلية الخاصة بها هي $${\displaystyle {\begin{aligned}h_{e}(X)&=-\int _{0}^{\infty }\lambda e^{-\lambda x}\log \left(\lambda e^{-\lambda x}\right)dx\\[2pt]&=-\left(\int _{0}^{\infty }(\log \lambda )\lambda e^{-\lambda x}\,dx+\int _{0}^{\infty }(-\lambda x)\lambda e^{-\lambda x}\,dx\right)\\[2pt]&=-\log \lambda \int _{0}^{\infty }f(x)\,dx+\lambda \operatorname {E} [X]\\[4pt]&=-\log \lambda +1\,.\end{aligned}}}$$

هنا،${\displaystyle h_{e}(X)}$تم استخدام بدلاً من${\displaystyle h(X)}$لتوضيح أن اللوغاريتم تم أخذه للأساس e ، لتبسيط الحساب.

يُعطي الانتروبيا التفاضلية حدًا أدنى للخطأ التربيعي المتوقع للمُقدِّر . لأي متغير عشوائي${\displaystyle X}$والمُقدِّر${\displaystyle {\widehat {X}}}$ينطبق ما يلي: ^{[ 1 ]}$${\displaystyle \operatorname {E} [(X-{\widehat {X}})^{2}]\geq {\frac {1}{2\pi e}}e^{2h(X)}}$$ مع المساواة إذا وفقط إذا${\displaystyle X}$هو متغير عشوائي غاوسي و${\displaystyle {\widehat {X}}}$هو متوسط${\displaystyle X}$.

في الجدول أدناه${\displaystyle \Gamma (x)=\int _{0}^{\infty }e^{-t}t^{x-1}dt}$دالة غاما ،${\displaystyle \psi (x)={\frac {d}{dx}}\log \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}}$دالة ديغاما ،${\displaystyle B(p,q)={\frac {\Gamma (p)\Gamma (q)}{\Gamma (p+q)}}}$هي دالة بيتا ، و γE هو ^ثابت أويلر . ^{[ 7} _] ^{: 219-230}

جدول الإنتروبيا التفاضلية

اسم التوزيع	دالة كثافة الاحتمال (pdf)	الإنتروبيا التفاضلية في الطبيعة	يدعم
زي مُوحد	${\displaystyle f(x)={\frac {1}{b-a}}}$	${\displaystyle \log(b-a)\,}$	${\displaystyle [a,b]\,}$
طبيعي	${\displaystyle f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)}$	${\displaystyle \log \left(\sigma {\sqrt {2\pi e}}\right)}$	${\displaystyle (-\infty ,\infty )\,}$
النمو الأسي	${\displaystyle f(x)=\lambda \exp \left(-\lambda x\right)}$	${\displaystyle 1-\log \lambda \,}$	${\displaystyle [0,\infty )\,}$
رايلي	${\displaystyle f(x)={\frac {x}{\sigma ^{2}}}\exp \left(-{\frac {x^{2}}{2\sigma ^{2}}}\right)}$	${\displaystyle 1+\log {\frac {\sigma }{\sqrt {2}}}+{\frac {\gamma _{E}}{2}}}$	${\displaystyle [0,\infty )\,}$
بيتا	${\displaystyle f(x)={\frac {x^{\alpha -1}(1-x)^{\beta -1}}{B(\alpha ,\beta )}}}$ل${\displaystyle 0\leq x\leq 1}$	${\displaystyle {\begin{aligned}\log B(\alpha ,\beta )&-(\alpha -1)[\psi (\alpha )-\psi (\alpha +\beta )]\\&-(\beta -1)[\psi (\beta )-\psi (\alpha +\beta )]\end{aligned}}}$	${\displaystyle [0,1]\,}$
كوشي	${\displaystyle f(x)={\frac {\gamma }{\pi }}{\frac {1}{\gamma ^{2}+x^{2}}}}$	${\displaystyle \log(4\pi \gamma )\,}$	${\displaystyle (-\infty ,\infty )\,}$
تشي	${\displaystyle f(x)={\frac {2}{2^{k/2}\Gamma (k/2)}}x^{k-1}\exp \left(-{\frac {x^{2}}{2}}\right)}$	${\displaystyle \log {\frac {\Gamma (k/2)}{\sqrt {2}}}-{\frac {k-1}{2}}\psi {\left({\frac {k}{2}}\right)}+{\frac {k}{2}}}$	${\displaystyle [0,\infty )\,}$
مربع كاي	${\displaystyle f(x)={\frac {1}{2^{k/2}\Gamma (k/2)}}x^{{\frac {k}{2}}\!-\!1}\exp \left(-{\frac {x}{2}}\right)}$	${\displaystyle \log 2\Gamma {\left({\frac {k}{2}}\right)}-\left(1-{\frac {k}{2}}\right)\psi {\left({\frac {k}{2}}\right)}+{\frac {k}{2}}}$	${\displaystyle [0,\infty )\,}$
إرلانغ	${\displaystyle f(x)={\frac {\lambda ^{k}}{(k-1)!}}x^{k-1}\exp(-\lambda x)}$	${\displaystyle \left(1-k\right)\psi (k)+\log {\frac {\Gamma (k)}{\lambda }}+k}$	${\displaystyle [0,\infty )\,}$
F	${\displaystyle f(x)={\frac {n_{1}^{{n_{1}}/{2}}\,n_{2}^{{n_{2}}/{2}}}{B{\left({\frac {n_{1}}{2}},{\frac {n_{2}}{2}}\right)}}}{\frac {x^{{\frac {n_{1}}{2}}-1}}{{\left(n_{2}+n_{1}x\right)}^{\frac {n_{1}+n2}{2}}}}}$	${\displaystyle {\begin{aligned}&\log {\frac {n_{1}}{n_{2}}}B{\left({\frac {n_{1}}{2}},{\frac {n_{2}}{2}}\right)}\\[4pt]&+\left(1-{\frac {n_{1}}{2}}\right)\psi {\left({\frac {n_{1}}{2}}\right)}\\[4pt]&-\left(1+{\frac {n_{2}}{2}}\right)\psi {\left({\frac {n_{2}}{2}}\right)}\\[4pt]&+{\frac {n_{1}+n_{2}}{2}}\psi {\left({\frac {n_{1}\!+\!n_{2}}{2}}\right)}\end{aligned}}}$	${\displaystyle [0,\infty )\,}$
جاما	${\displaystyle f(x)={\frac {x^{k-1}\exp(-{\frac {x}{\theta }})}{\theta ^{k}\Gamma (k)}}}$	${\displaystyle \log(\theta \Gamma (k))+\left(1-k\right)\psi (k)+k}$	${\displaystyle [0,\infty )\,}$
لابلاس	${\displaystyle f(x)={\frac {1}{2b}}\exp \left(-{\frac {|x-\mu |}{b}}\right)}$	${\displaystyle 1+\log(2b)\,}$	${\displaystyle (-\infty ,\infty )\,}$
الخدمات اللوجستية	${\displaystyle f(x)={\frac {e^{-x/s}}{s{\left(1+e^{-x/s}\right)}^{2}}}}$	${\displaystyle \log s+2\,}$	${\displaystyle (-\infty ,\infty )\,}$
التوزيع اللوغاريتمي الطبيعي	${\displaystyle f(x)={\frac {1}{\sigma x{\sqrt {2\pi }}}}\exp \left(-{\frac {(\log x-\mu )^{2}}{2\sigma ^{2}}}\right)}$	${\displaystyle \mu +{\tfrac {1}{2}}\log(2\pi e\sigma ^{2})}$	${\displaystyle [0,\infty )\,}$
ماكسويل-بولتزمان	${\displaystyle f(x)={\frac {1}{a^{3}}}{\sqrt {\frac {2}{\pi }}}\,x^{2}\exp \left(-{\frac {x^{2}}{2a^{2}}}\right)}$	${\displaystyle \log(a{\sqrt {2\pi }})+\gamma _{E}-{\tfrac {1}{2}}}$	${\displaystyle [0,\infty )\,}$
الوضع الطبيعي المعمم	${\displaystyle f(x)={\frac {2\beta ^{\frac {\alpha }{2}}}{\Gamma ({\frac {\alpha }{2}})}}x^{\alpha -1}\exp \left(-\beta x^{2}\right)}$	${\displaystyle \log {\frac {\Gamma (\alpha /2)}{2\beta ^{\frac {1}{2}}}}-{\frac {\alpha -1}{2}}\psi \left({\frac {\alpha }{2}}\right)+{\frac {\alpha }{2}}}$	${\displaystyle (-\infty ,\infty )\,}$
باريتو	${\displaystyle f(x)={\frac {\alpha x_{m}^{\alpha }}{x^{\alpha +1}}}}$	${\displaystyle \log {\frac {x_{m}}{\alpha }}+1+{\frac {1}{\alpha }}}$	${\displaystyle [x_{m},\infty )\,}$
طالب	${\displaystyle f(x)={\frac {(1+x^{2}/\nu )^{-{\frac {\nu +1}{2}}}}{{\sqrt {\nu }}B({\frac {1}{2}},{\frac {\nu }{2}})}}}$	${\displaystyle {\begin{aligned}&{\frac {\nu \!+\!1}{2}}\left[\psi {\left({\frac {\nu \!+\!1}{2}}\right)}-\psi {\left({\frac {\nu }{2}}\right)}\right]\\&+\!\log {\sqrt {\nu }}B{\left({\frac {1}{2}},{\frac {\nu }{2}}\right)}\end{aligned}}}$	${\displaystyle (-\infty ,\infty )\,}$
مثلث الشكل	${\displaystyle f(x)={\begin{cases}{\frac {2(x-a)}{(b-a)(c-a)}}&\mathrm {for\ } a\leq x\leq c,\\[4pt]{\frac {2(b-x)}{(b-a)(b-c)}}&\mathrm {for\ } c<x\leq b,\\[4pt]\end{cases}}}$	${\displaystyle {\frac {1}{2}}+\log {\frac {b-a}{2}}}$	${\displaystyle [a,b]\,}$
ويبول	${\displaystyle f(x)={\frac {k}{\lambda ^{k}}}x^{k-1}\exp \left(-{\frac {x^{k}}{\lambda ^{k}}}\right)}$	${\displaystyle {\frac {k-1}{k}}\gamma _{E}+\log {\frac {\lambda }{k}}+1}$	${\displaystyle [0,\infty )\,}$
التوزيع الطبيعي متعدد المتغيرات	${\displaystyle f_{X}(\mathbf {x} )={\frac {\exp \left[-{\frac {1}{2}}(\mathbf {x} -\mathbf {\mu } )^{\mathsf {T}}\Sigma ^{-1}(\mathbf {x} -\mathbf {\mu } )\right]}{{\left(2\pi \right)}^{N/2}\left|\Sigma \right|^{1/2}}}}$	${\displaystyle {\tfrac {1}{2}}\log \left[(2\pi e)^{N}\det(\Sigma )\right]}$	${\displaystyle \mathbb {R} ^{N}}$

العديد من قيم الإنتروبيا التفاضلية مأخوذة من ^{[ 8 ] : 120-122}

لا يُعدّ الإنتروبيا التفاضلية ثابتةً تحت تحويلات الإحداثيات المستمرة، كما أنها لا تشترك في جميع خصائص الإنتروبيا المتقطعة. على سبيل المثال، قد تكون سالبة. بدلاً من الإنتروبيا التفاضلية، يمكن استنتاج نهاية الإنتروبيا المتقطعة المحسوبة على مجموعة متزايدة الكثافة من النقاط. سيكون التعبير الناتج غير سالب، مما يسمح بوصف الإنتروبيا دون الاعتماد على الإحداثيات. ^{[ 9 ] : 181-218}

يختلف هذا التعديل للإنتروبيا التفاضلية في أنه يتطلب مقياسًا${\displaystyle m(x)}$والتعبير هو كالتالي:

$${\displaystyle D(p\parallel m)=\int p(x)\log {\frac {p(x)}{m(x)}}\,dx.}$$

لو${\displaystyle m(x)}$هي دالة كثافة احتمالية، وهذا هو تباعد كولباك-لايبير ، ويحدث عندما تكون خاصية عدم السلبية قائمة. عند إجراء تحويلات الإحداثيات، كلاهما${\displaystyle p(x)}$و${\displaystyle m(x)}$يتم تحويلها. وستبقى القيمة المحسوبة ثابتة بعد ذلك.

يمكن الحصول على تعريف الإنتروبيا التفاضلية أعلاه عن طريق تقسيم نطاق${\displaystyle X}$إلى صناديق ذات طول${\displaystyle h}$مع نقاط العينة المرتبطة بها${\displaystyle ih}$داخل الصناديق، لـ${\displaystyle X}$قابلة للتكامل وفقًا لريمان. وهذا يعطي نسخة كمية من${\displaystyle X}$، كما هو محدد بواسطة${\displaystyle X_{h}=ih}$لو${\displaystyle ih\leq X\leq (i+1)h}$ثم إنتروبيا${\displaystyle X_{h}=ih}$هو ^{[ 1 ]}

$${\displaystyle H_{h}=-\sum _{i}hf(ih)\log(f(ih))-\sum hf(ih)\log(h).}$$

يمثل الحد الأول على اليمين تقريبًا الإنتروبيا التفاضلية، بينما يمثل الحد الثاني تقريبًا${\displaystyle -\log(h)}$لاحظ أن هذا الإجراء يشير إلى أن الإنتروبيا بالمعنى المتقطع لمتغير عشوائي مستمر يجب أن تكون${\displaystyle \infty }$.

• إنتروبيا المعلومات
• المعلومات الذاتية
• تقدير الإنتروبيا

• "الإنتروبيا التفاضلية" ، موسوعة الرياضيات ، دار نشر EMS، 2001 [1994]
• "الإنتروبيا التفاضلية" . PlanetMath .