محتوى المعلومات

بالنسبة لمساحة احتمالية معينة ، فإن قياس الأحداث النادرة يكون بديهيًا أكثر "إثارة للدهشة"، ويُنتج محتوى معلوماتيًا أكبر من الأحداث الأكثر "شيوعًا". وبالتالي، فإن المعلومات الذاتية هي دالة رتيبة متناقصة تمامًا للاحتمال، أو تُسمى أحيانًا دالة "مضادة للتناقص". ^{[ 3 ]}

بينما يتم تمثيل الاحتمالات القياسية بأعداد حقيقية في الفترة${\displaystyle [0,1]}$تكون قيم المعلومات الذاتية أعدادًا حقيقية موسعة غير سالبة في الفترة${\displaystyle [0,\infty ]}$. خاصة:

• حدث باحتمالية${\displaystyle \Pr(x)=1}$(حدث معين) يحتوي على محتوى معلوماتي من${\displaystyle \mathrm {I} (x)=-\log _{b}(1)=0}$إن حدوثه ليس مفاجئاً على الإطلاق ولا يكشف عن أي معلومات جديدة.
• حدث باحتمالية${\displaystyle \Pr(x)=0}$(حدث مستحيل) يحتوي على محتوى معلوماتي من${\displaystyle \mathrm {I} (x)=-\log _{b}(0)}$، وهو أمر غير محدد ولكنه يُعتبر${\displaystyle \infty }$بحسب العرف . وهذا يعكس أن مشاهدة حدث يُعتقد أنه مستحيل ستكون مفاجئة للغاية. ^{[ 4 ]}

تُعدّ هذه العلاقة الرتيبة أساسيةً لاستخدام محتوى المعلومات كمقياس للشك. فعلى سبيل المثال، معرفة أن تذكرة يانصيب احتمالية فوزها واحد من بين مليون تذكرة تُقدّم معلومات أكثر بكثير من معرفة أنها خاسرة (انظر أيضًا: رياضيات اليانصيب ). وهذا يُرسي أيضًا صلةً بديهيةً بمفاهيم مثل التشتت الإحصائي ؛ فالأحداث البعيدة عن المتوسط ​​أو النتيجة النموذجية (وبالتالي ذات احتمالية منخفضة في العديد من التوزيعات الشائعة) تحمل قدرًا كبيرًا من المعلومات الذاتية.

ترتبط معلومات شانون ارتباطًا وثيقًا باللوغاريتم الطبيعي للنسبة الاحتمالية . اللوغاريتم الطبيعي للنسبة الاحتمالية لحدث ما${\displaystyle x}$باحتمالية${\displaystyle p(x)}$، ويُعرَّف بأنه لوغاريتم الاحتمالات ،${\displaystyle {\frac {p(x)}{1-p(x)}}}$ويمكن التعبير عن ذلك كفرق بين قيمتين لمحتوى المعلومات:$${\displaystyle {\displaystyle {\begin{aligned}{\text{log-odds}}(x)&=\ \log _{b}\left({\frac {p(x)}{1-p(x)}}\right)\\&=\ \log _{b}(p(x))-\log _{b}(1-p(x))\\&=\ \ \mathrm {I} (\lnot x)\ -\ \mathrm {I} (x),\end{aligned}}}}$$أين${\displaystyle \lnot x}$يشير إلى الحدث غير${\displaystyle x}$.

يمكن تفسير هذا التعبير على أنه مقدار المعلومات المكتسبة (أو المفاجأة) من معرفة أن الحدث لم يقع ، مطروحًا منه المعلومات المكتسبة من معرفة أنه وقع . وتكتسب هذه العلاقة أهمية خاصة في النمذجة الإحصائية ، حيث تُعدّ اللوغاريتمات النسبية جوهر دالة اللوجيت والانحدار اللوجستي . ^{[ 5 ]}

إن المحتوى المعلوماتي لحدثين مستقلين هو مجموع المحتوى المعلوماتي لكل حدث على حدة. تُعرف هذه الخاصية في الرياضيات باسم خاصية الجمع . لنفترض وجود متغيرين عشوائيين مستقلين.${\displaystyle X}$و${\displaystyle Y}$باستخدام دوال الكتلة الاحتمالية${\displaystyle p_{X}(x)}$و${\displaystyle p_{Y}(y)}$الاحتمال المشترك لملاحظة النتيجة${\displaystyle (x,y)}$يُعطى بضرب الاحتمالات الفردية بسبب الاستقلال :$${\displaystyle p_{X,Y}(x,y)=\Pr(X=x,Y=y)=p_{X}(x)\ p_{Y}(y)}$$يتضمن محتوى المعلومات لهذا الحدث المشترك ما يلي:$${\displaystyle {\displaystyle {\begin{aligned}\operatorname {I} _{X,Y}(x,y)&=\ -\log _{b}\left[p_{X,Y}(x,y)\right]\\&=\ -\log _{b}\left[p_{X}(x)\ p_{Y}(y)\right]\\&=\ -\log _{b}\left[p_{X}(x)\right]\ -\ \log _{b}\left[p_{Y}(y)\right]\ \\&=\ \ \operatorname {I} _{X}(x)\ +\ \operatorname {I} _{Y}(y),\end{aligned}}}}$$هذه الخاصية الجمعية تجعل محتوى المعلومات مقياسًا أكثر ملاءمة من الناحية الرياضية من الاحتمالية في العديد من التطبيقات، كما هو الحال في نظرية الترميز حيث تكون كمية المعلومات اللازمة لوصف سلسلة من الرموز المستقلة هي مجموع المعلومات اللازمة لكل رمز. ^{[ 3 ]}

الخاصية المقابلة للاحتمالات هي أن لوغاريتم احتمالية الأحداث المستقلة يساوي مجموع لوغاريتمات احتمالية كل حدث على حدة. وإذا فُسِّر لوغاريتم الاحتمالية على أنه "دعم" أو "مفاجأة سلبية" (أي مدى دعم حدث ما لنموذج معين: يدعم حدث ما النموذج بقدر ما يكون هذا الحدث غير مفاجئ، بالنظر إلى النموذج)، فإن هذا يعني أن الأحداث المستقلة تُضيف دعمًا: فالمعلومات التي يُوفرها الحدثان معًا للاستدلال الإحصائي هي مجموع معلوماتهما المستقلة.

لنأخذ مثالاً على تجربة برنولي لرمي عملة معدنية متوازنة${\displaystyle X}$احتمالات وقوع حدث سقوط العملة على الوجه الآخر (الصورة )${\displaystyle {\text{H}}}$والذيل${\displaystyle {\text{T}}}$(انظر العملة العادلة والوجه الأمامي والخلفي ) كل منهما نصف ،${\textstyle p_{X}{({\text{H}})}=p_{X}{({\text{T}})}={\tfrac {1}{2}}=0.5}$عند قياس المتغير على أنه رؤوس، فإن مكسب المعلومات المرتبط به هو $${\displaystyle \operatorname {I} _{X}({\text{H}})=-\log _{2}{p_{X}{({\text{H}})}}=-\log _{2}\!{\tfrac {1}{2}}=1,}$$إذن، فإنّ مقدار المعلومات المكتسبة من رمي عملة معدنية متوازنة على شكل صورة هو 1 شانون . ^{[ 2 ]} وبالمثل، فإنّ مقدار المعلومات المكتسبة من قياس الكتابة هو 1 شانون.${\displaystyle T}$يكون$${\displaystyle \operatorname {I} _{X}(T)=-\log _{2}{p_{X}{({\text{T}})}}=-\log _{2}{\tfrac {1}{2}}=1{\text{ Sh}}.}$$

لنفترض أن لدينا نردًا متوازنًا سداسي الأوجه . قيمة رمية النرد هي متغير عشوائي منتظم منفصل${\displaystyle X\sim \mathrm {DU} [1,6]}$مع دالة الكتلة الاحتمالية$${\displaystyle p_{X}(k)={\begin{cases}{\frac {1}{6}},&k\in \{1,2,3,4,5,6\}\\0,&{\text{otherwise}}\end{cases}}}$$احتمالية الحصول على الرقم 4 عند رمي النرد هي${\textstyle p_{X}(4)={\frac {1}{6}}}$كما هو الحال مع أي رمية نرد صحيحة أخرى. وبالتالي، فإن محتوى المعلومات الناتج عن رمي الرقم 4 هو$${\displaystyle \operatorname {I} _{X}(4)=-\log _{2}{p_{X}{(4)}}=-\log _{2}{\tfrac {1}{6}}\approx 2.585\;{\text{Sh}}}$$من المعلومات.

لنفترض أن لدينا متغيرين عشوائيين مستقلين ومتطابقين في التوزيع${\textstyle X,\,Y\sim \mathrm {DU} [1,6]}$كل منها يُقابل رمية نرد مستقلة وعادلة ذات ستة أوجه. التوزيع المشترك لـ${\displaystyle X}$و${\displaystyle Y}$يكون$${\displaystyle {\begin{aligned}p_{X,Y}\!\left(x,y\right)&{}=\Pr(X=x,\,Y=y)=p_{X}\!(x)\,p_{Y}\!(y)\\&{}={\begin{cases}\displaystyle {1 \over 36},\ &x,y\in [1,6]\cap \mathbb {N} \\0&{\text{otherwise.}}\end{cases}}\end{aligned}}}$$

محتوى المعلومات للمتغير العشوائي${\displaystyle (X,Y)=(2,\,4)}$يكون $${\displaystyle {\begin{aligned}\operatorname {I} _{X,Y}{(2,4)}&=-\log _{2}\!{\left[p_{X,Y}{(2,4)}\right]}=\log _{2}\!{36}=2\log _{2}\!{6}\\&\approx 5.169925{\text{ Sh}},\end{aligned}}}$$ ويمكن أيضًا حسابها عن طريق جمع الأحداث$${\displaystyle {\begin{aligned}\operatorname {I} _{X,Y}{(2,4)}&=-\log _{2}\!{\left[p_{X,Y}{(2,4)}\right]}=-\log _{2}\!{\left[p_{X}(2)\right]}-\log _{2}\!{\left[p_{Y}(4)\right]}\\&=2\log _{2}\!{6}\\&\approx 5.169925{\text{ Sh}}.\end{aligned}}}$$

بتعميم مثال رمي النرد العادل أعلاه  ، ضع في اعتبارك متغيرًا عشوائيًا منتظمًا منفصلاً عامًا (DURV).${\displaystyle X\sim \mathrm {DU} [a,b];\quad a,b\in \mathbb {Z} ,\ b\geq a.}$للتسهيل، حدد${\textstyle N:=b-a+1}$دالة الكتلة الاحتمالية هي$${\displaystyle p_{X}(k)={\begin{cases}{\frac {1}{N}},&k\in [a,b]\cap \mathbb {Z} \\0,&{\text{otherwise}}.\end{cases}}}$$بشكل عام، لا يشترط أن تكون قيم DURV أعدادًا صحيحة ، أو حتى متساوية التباعد لأغراض نظرية المعلومات؛ يكفي فقط أن تكون متساوية الاحتمال . ^{[ 2 ]} مكسب المعلومات لأي ملاحظة${\displaystyle X=k}$يكون$${\displaystyle \operatorname {I} _{X}(k)=-\log _{2}{\frac {1}{N}}=\log _{2}{N}{\text{ Sh}}.}$$

بتعميم جميع الحالات المذكورة أعلاه، ضع في اعتبارك متغيرًا عشوائيًا منفصلاً فئويًا ذو نطاق${\textstyle {\mathcal {S}}={\bigl \{}s_{i}{\bigr \}}_{i=1}^{N}}$ودالة الكتلة الاحتمالية معطاة بواسطة

$${\displaystyle p_{X}(k)={\begin{cases}p_{i},&k=s_{i}\in {\mathcal {S}}\\0,&{\text{otherwise}}.\end{cases}}}$$

لأغراض نظرية المعلومات، القيم${\displaystyle s\in {\mathcal {S}}}$لا يشترط أن تكون أعدادًا ؛ يمكن أن تكون أي أحداث متنافية على فضاء قياس ذي قياس محدود تم تطبيعه إلى مقياس احتمالي${\displaystyle p}$دون فقدان للعمومية ، يمكننا افتراض أن التوزيع الفئوي مدعوم على المجموعة${\textstyle [N]=\left\{1,2,\dots ,N\right\}}$; البنية الرياضية متماثلة من حيث نظرية الاحتمالات ، وبالتالي من حيث نظرية المعلومات أيضًا.

معلومات عن النتيجة${\displaystyle X=x}$يُعطى

$${\displaystyle \operatorname {I} _{X}(x)=-\log _{2}{p_{X}(x)}.}$$

من هذه الأمثلة، من الممكن حساب معلومات أي مجموعة من المتغيرات المستقلة ذات التوزيعات المعروفة عن طريق الجمع .