الإنتروبيا (نظرية المعلومات)

تُفيد نظرية المعلومات في حساب أقل قدر من المعلومات اللازمة لنقل رسالة، كما هو الحال في ضغط البيانات . على سبيل المثال، لنفترض إرسال تسلسلات تتألف من الأحرف الأربعة 'A' و'B' و'C' و'D' عبر قناة ثنائية. إذا كان احتمال ظهور كل حرف من الأحرف الأربعة متساوياً (25%)، فلا يُمكن تحقيق أفضل من استخدام بتّين لترميز كل حرف. قد يُرمز للحرف 'A' بالرمز '00'، وللحرف 'B' بالرمز '01'، وللحرف 'C' بالرمز '10'، وللحرف 'D' بالرمز '11'. أما إذا كانت احتمالات ظهور كل حرف غير متساوية، كأن يكون احتمال ظهور الحرف 'A' هو 70%، والحرف 'B' هو 26%، والحرفين 'C' و'D' هو 2% لكل منهما، فيُمكن حينها استخدام رموز ذات أطوال متغيرة. في هذه الحالة، يُرمز للحرف 'A' بالرقم '0'، وللحرف 'B' بالرقم '10'، وللحرف 'C' بالرقم '110'، وللحرف 'D' بالرقم '111'. وبهذا التمثيل، يكفي إرسال بت واحد فقط في 70% من الحالات، وبتّين في 26% من الحالات، وثلاثة بتّات في 4% فقط من الحالات. في المتوسط، لا يتطلب الأمر سوى أقل من بتين نظرًا لانخفاض مستوى العشوائية (بسبب شيوع الحرف 'A' متبوعًا بالحرف 'B' - حيث يشكلان معًا 96% من الأحرف). ويُقاس هذا التأثير ويُجسد من خلال حساب مجموع الاحتمالات اللوغاريتمية المرجحة.

يتميز النص الإنجليزي، عند التعامل معه كسلسلة من الأحرف، بانخفاض مستوى العشوائية فيه؛ أي أنه قابل للتنبؤ إلى حد كبير. يمكننا أن نكون على يقين تام، على سبيل المثال، من أن الحرف 'e' سيكون أكثر شيوعًا بكثير من الحرف 'z'، وأن التركيبة 'qu' ستكون أكثر شيوعًا بكثير من أي تركيبة أخرى تحتوي على الحرف 'q'، وأن التركيبة 'th' ستكون أكثر شيوعًا من الأحرف 'z' أو 'q' أو 'qu'. بعد الأحرف القليلة الأولى، يمكن غالبًا تخمين بقية الكلمة. يحتوي النص الإنجليزي على ما بين 0.6 و1.3 بت من العشوائية لكل حرف من الرسالة. ^{[ 7 ] : 234}

يمكن تعريف الإنتروبيا رسميًا بلغة نظرية القياس على النحو التالي: ^{[ 11 ]} ليكن${\displaystyle (X,\Sigma ,\mu )}$ليكن فضاء احتمالي .${\displaystyle A\in \Sigma }$أن يكون حدثًا . مفاجأة${\displaystyle A}$يكون $${\displaystyle \sigma _{\mu }(A)=-\ln \mu (A).}$$

المفاجأة المتوقعة لـ${\displaystyle A}$يكون $${\displaystyle h_{\mu }(A)=\mu (A)\sigma _{\mu }(A).}$$

أ${\displaystyle \mu }$-التقسيم شبه الكامل هو عائلة مجموعات${\displaystyle P\subseteq {\mathcal {P}}(X)}$بحيث${\displaystyle \mu (\bigcup P)=1}$و${\displaystyle \mu (A\cap B)=0}$لجميع المتميزين${\displaystyle A,B\in P}$(هذا تخفيف للشروط المعتادة للتقسيم). إنتروبيا${\displaystyle P}$يكون $${\displaystyle \mathrm {H} _{\mu }(P)=\sum _{A\in P}h_{\mu }(A).}$$

يترك${\displaystyle M}$كن جبر سيجما على${\displaystyle X}$إنتروبيا${\displaystyle M}$يكون $${\displaystyle \mathrm {H} _{\mu }(M)=\sup _{P\subseteq M}\mathrm {H} _{\mu }(P).}$$ وأخيرًا، فإن إنتروبيا فضاء الاحتمالات هي${\displaystyle \mathrm {H} _{\mu }(\Sigma )}$أي، الإنتروبيا بالنسبة إلى${\displaystyle \mu }$من جبر سيجما لجميع المجموعات الفرعية القابلة للقياس من${\displaystyle X}$.

يستخدم توصيف آخر للإنتروبيا الخصائص التالية. نرمز إلى p _i = Pr( X = x _i ) و Η _n ( p ₁ , ..., p _n ) = Η( X ) .

1. الاستمرارية: يجب أن تكون H مستمرة ، بحيث يؤدي تغيير قيم الاحتمالات بمقدار صغير جدًا إلى تغيير الإنتروبيا بمقدار صغير فقط.
2. التناظر: يجب ألا يتغير H إذا _أُعيد ترتيب النتائج xᵢ . أي،${\displaystyle \mathrm {H} _{n}\left(p_{1},p_{2},\ldots ,p_{n}\right)=\mathrm {H} _{n}\left(p_{i_{1}},p_{i_{2}},\ldots ,p_{i_{n}}\right)}$لأي تبديل${\displaystyle \{i_{1},...,i_{n}\}}$ل${\displaystyle \{1,...,n\}}$.
3. الحد الأقصى:${\displaystyle \mathrm {H} _{n}}$ينبغي أن تكون القيمة القصوى إذا كانت جميع النتائج متساوية الاحتمال، أي${\displaystyle \mathrm {H} _{n}(p_{1},\ldots ,p_{n})\leq \mathrm {H} _{n}\left({\frac {1}{n}},\ldots ,{\frac {1}{n}}\right)}$.
4. زيادة عدد النتائج: بالنسبة للأحداث متساوية الاحتمال، يجب أن تزداد الإنتروبيا مع زيادة عدد النتائج.${\displaystyle \mathrm {H} _{n}{\bigg (}\underbrace {{\frac {1}{n}},\ldots ,{\frac {1}{n}}} _{n}{\bigg )}<\mathrm {H} _{n+1}{\bigg (}\underbrace {{\frac {1}{n+1}},\ldots ,{\frac {1}{n+1}}} _{n+1}{\bigg )}.}$
5. خاصية الجمع: بالنظر إلى مجموعة من n عنصر موزعة بشكل منتظم يتم تقسيمها إلى k صندوق (أنظمة فرعية) مع b ₁ ، ... ، b _k عنصرًا لكل منها، يجب أن تكون إنتروبيا المجموعة بأكملها مساوية لمجموع إنتروبيا نظام الصناديق والإنتروبيات الفردية للصناديق، كل منها مرجح باحتمالية التواجد في ذلك الصندوق المحدد.

تم تقديم توصيف بديهي موجز آخر لإنتروبيا شانون بواسطة Aczél و Forte و Ng، ^{[ 15 ]} من خلال الخصائص التالية:

1. خاصية الجمع الفرعي: ${\displaystyle \mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)}$ بالنسبة للمتغيرات العشوائية الموزعة بشكل مشترك${\displaystyle X,Y}$.
2. خاصية الإضافة: ${\displaystyle \mathrm {H} (X,Y)=\mathrm {H} (X)+\mathrm {H} (Y)}$عندما تكون المتغيرات العشوائية${\displaystyle X,Y}$مستقلون.
3. تمدد: ${\displaystyle \mathrm {H} _{n+1}(p_{1},\ldots ,p_{n},0)=\mathrm {H} _{n}(p_{1},\ldots ,p_{n})}$أي أن إضافة نتيجة باحتمالية صفر لا تغير الإنتروبيا.
4. التناظر:${\displaystyle \mathrm {H} _{n}(p_{1},\ldots ,p_{n})}$ثابت تحت تبديل${\displaystyle p_{1},\ldots ,p_{n}}$.
5. صغير بالنسبة لاحتمالات صغيرة: ${\displaystyle \lim _{q\to 0^{+}}\mathrm {H} _{2}(1-q,q)=0}$.

استُلهم استخدام مصطلح الإنتروبيا في نظرية المعلومات من التشابه الوثيق بين صيغة شانون والصيغ المعروفة المشابهة جدًا من الميكانيكا الإحصائية .

في الديناميكا الحرارية الإحصائية، الصيغة الأكثر عمومية للإنتروبيا الديناميكية الحرارية S لنظام ديناميكي حراري هي إنتروبيا جيبس.$${\displaystyle S=-k_{\text{B}}\sum _{i}p_{i}\ln p_{i}\,,}$$ حيث k_{_B} هو ثابت بولتزمان ، و p _{_i} هو احتمال وجود حالة مجهرية . تم تعريف إنتروبيا جيبس ​​بواسطة ج. ويلارد جيبس ​​في عام 1878 بعد عمل سابق للودفيج بولتزمان (1872). ^{[ 16 ]}

تنتقل إنتروبيا جيبس ​​دون تغيير تقريبًا إلى عالم الفيزياء الكمية لتعطي إنتروبيا فون نيومان التي قدمها جون فون نيومان في عام 1927: $${\displaystyle S=-k_{\text{B}}\,{\rm {Tr}}(\rho \ln \rho )\,,}$$ حيث ρ هي مصفوفة الكثافة للنظام الكمومي و Tr هو الأثر . ^{[ 17 ]}

على المستوى العملي اليومي، لا تكون الروابط بين إنتروبيا المعلومات والإنتروبيا الديناميكية الحرارية واضحة. يميل الفيزيائيون والكيميائيون إلى الاهتمام بتغيرات الإنتروبيا عندما يتطور النظام تلقائيًا بعيدًا عن ظروفه الأولية، وفقًا للقانون الثاني للديناميكا الحرارية ، بدلًا من التركيز على توزيع احتمالي ثابت. وكما يشير صغر ثابت بولتزمان k _{_B} ، فإن التغيرات في S / k_{_B} حتى لكميات ضئيلة من المواد في العمليات الكيميائية والفيزيائية تمثل كميات من الإنتروبيا هائلة مقارنةً بأي شيء في ضغط البيانات أو معالجة الإشارات . في الديناميكا الحرارية الكلاسيكية، تُعرَّف الإنتروبيا بدلالة القياسات الماكروية دون الإشارة إلى أي توزيع احتمالي، وهو أمر أساسي في تعريف إنتروبيا المعلومات.

تم الربط بين الديناميكا الحرارية وما يُعرف الآن بنظرية المعلومات لأول مرة على يد بولتزمان، وتم التعبير عن ذلك من خلال معادلته :

$${\displaystyle S=k_{\text{B}}\ln W,}$$

أين${\displaystyle S}$يمثل εᵢ الإنتروبيا الديناميكية الحرارية لحالة عيانية معينة (محددة بمعاملات ديناميكية حرارية مثل درجة الحرارة والحجم والطاقة، إلخ)، و W عدد الحالات المجهرية (مجموعات مختلفة من الجسيمات في مستويات طاقة مختلفة) التي يمكن أن تُنتج الحالة العيانية المعطاة، و kB ثابت بولتزمان. _[ ^{18 ] يُفترض} أن كل حالة مجهرية متساوية الاحتمال، بحيث يكون احتمال حالة مجهرية معينة هو pᵢ = ₁ / W . عند استبدال هذه الاحتمالات في التعبير أعلاه لإنتروبيا جيبس ​​(أو ما يعادلها kB مضروبًا في إنتروبيا شانون)، نحصل على معادلة بولتزمان. من منظور نظرية المعلومات، تُعرف إنتروبيا المعلومات لنظام _ما بأنها كمية المعلومات "المفقودة" اللازمة لتحديد حالة مجهرية، بمعلومية الحالة العيانية.

يرى جاينز (1957) ^{[ 19 ]} أن الإنتروبيا الديناميكية الحرارية، كما تفسرها الميكانيكا الإحصائية ، ينبغي اعتبارها تطبيقًا لنظرية المعلومات لشانون: تُفسَّر الإنتروبيا الديناميكية الحرارية على أنها تتناسب طرديًا مع كمية معلومات شانون الإضافية اللازمة لتحديد الحالة المجهرية التفصيلية للنظام، والتي تبقى غير مُعبَّر عنها بوصف يعتمد فقط على المتغيرات العيانية للديناميكا الحرارية الكلاسيكية، حيث يكون ثابت التناسب هو ثابت بولتزمان. تؤدي إضافة الحرارة إلى نظام ما إلى زيادة إنتروبيته الديناميكية الحرارية لأنها تزيد من عدد الحالات المجهرية الممكنة للنظام والمتوافقة مع القيم القابلة للقياس لمتغيراته العيانية، مما يجعل أي وصف كامل للحالة أطول. (انظر المقال: الديناميكا الحرارية للإنتروبيا القصوى ). يمكن لشيطان ماكسويل (افتراضيًا) أن يقلل من الإنتروبيا الديناميكية الحرارية لنظام ما باستخدام معلومات حول حالات الجزيئات الفردية. لكن، كما بيّن لانداور (من عام ١٩٦١) وزملاؤه ^{[ ٢٠ ]} ، لكي يعمل الشيطان نفسه، عليه أن يزيد الإنتروبيا الديناميكية الحرارية في العملية، بما لا يقل عن مقدار معلومات شانون التي يقترح الحصول عليها وتخزينها أولًا؛ وبالتالي فإن إجمالي الإنتروبيا الديناميكية الحرارية لا ينخفض ​​(مما يحل المفارقة). يفرض مبدأ لانداور حدًا أدنى لكمية الحرارة التي يجب أن يولدها الحاسوب لمعالجة كمية معينة من المعلومات، على الرغم من أن الحواسيب الحديثة أقل كفاءة بكثير.

يُمكن لتعريف شانون للإنتروبيا، عند تطبيقه على مصدر معلومات، تحديد الحد الأدنى لسعة القناة اللازمة لنقل المصدر بشكل موثوق كأرقام ثنائية مشفرة. تقيس إنتروبيا شانون المعلومات الموجودة في الرسالة، وليس الجزء المُحدد (أو القابل للتنبؤ) منها. ومن أمثلة هذا الجزء: التكرار في بنية اللغة، أو الخصائص الإحصائية المتعلقة بتكرار ظهور أزواج الحروف أو الكلمات، أو الثلاثيات، وما إلى ذلك. يُمكن تحقيق الحد الأدنى لسعة القناة نظريًا باستخدام المجموعة النموذجية ، أو عمليًا باستخدام ترميز هوفمان ، أو ليمبل-زيف، أو الترميز الحسابي . (انظر أيضًا تعقيد كولموغوروف ). عمليًا، تتضمن خوارزميات الضغط عمدًا بعض التكرار المُدروس في شكل مجاميع اختبارية للحماية من الأخطاء. معدل إنتروبيا مصدر البيانات هو متوسط ​​عدد البتات لكل رمز اللازمة لترميزه. تُظهر تجارب شانون مع مُتنبئين بشريين معدل معلومات يتراوح بين 0.6 و1.3 بت لكل حرف في اللغة الإنجليزية. ^{[ 21 ]} يمكن لخوارزمية ضغط PPM تحقيق نسبة ضغط تبلغ 1.5 بت لكل حرف في النص الإنجليزي.

إذا كانت خوارزمية الضغط غير ضائعة - أي التي تسمح باستعادة الرسالة الأصلية كاملةً عند فك الضغط - فإن الرسالة المضغوطة تحتوي على نفس كمية المعلومات الموجودة في الرسالة الأصلية، ولكنها تُنقل بعدد أقل من الأحرف. تحتوي الرسالة المضغوطة على معلومات أكثر (إنتروبيا أعلى) لكل حرف، كما أنها أقل تكرارًا . تنص نظرية شانون لترميز المصدر على أن خوارزمية الضغط غير الضائعة لا يمكنها ضغط الرسائل، في المتوسط، بحيث تحتوي على أكثر من بت واحد من المعلومات لكل بت من الرسالة، ولكن يمكن الوصول إلى أي قيمة أقل من بت واحد من المعلومات لكل بت من الرسالة باستخدام خوارزمية ترميز مناسبة. إن إنتروبيا الرسالة لكل بت مضروبة في طول تلك الرسالة هي مقياس لكمية المعلومات الإجمالية التي تحتويها الرسالة. تشير نظرية شانون أيضًا إلى أنه لا يمكن لأي خوارزمية ضغط غير ضائعة تقصير جميع الرسائل. فإذا كانت بعض الرسائل أقصر، فلا بد أن تكون رسالة واحدة على الأقل أطول، وذلك وفقًا لمبدأ التوزيع . في الاستخدام العملي، لا يمثل هذا مشكلة بشكل عام، لأن المرء عادة ما يكون مهتمًا فقط بضغط أنواع معينة من الرسائل، مثل مستند باللغة الإنجليزية، على عكس نص غير مفهوم، أو صور رقمية بدلاً من الضوضاء، وليس من المهم ما إذا كانت خوارزمية الضغط تجعل بعض التسلسلات غير المحتملة أو غير المهمة أكبر حجمًا.

قدّرت دراسة نُشرت عام 2011 في مجلة ساينس القدرة التكنولوجية العالمية على تخزين ونقل المعلومات المضغوطة على النحو الأمثل، وذلك وفقًا لأكثر خوارزميات الضغط فعاليةً المتاحة في عام 2007، ومن ثمّ تقدير إنتروبيا المصادر التكنولوجية المتاحة. ^{[ 22 ] : 60-65}

يقدر المؤلفون القدرة التكنولوجية للبشرية على تخزين المعلومات (المضغوطة بالكامل من حيث الإنتروبيا) في عام 1986 ومرة ​​أخرى في عام 2007. ويقسمون المعلومات إلى ثلاث فئات - تخزين المعلومات على وسيط، أو استقبال المعلومات من خلال شبكات البث أحادية الاتجاه، أو تبادل المعلومات من خلال شبكات الاتصالات ثنائية الاتجاه . ^{[ 22 ]}

يُعدّ الإنتروبيا أحد الطرق العديدة لقياس التنوع البيولوجي، ويُستخدم في صورة مؤشر شانون . ^{[ 23 ]} مؤشر التنوع هو مقياس إحصائي كمي لعدد الأنواع المختلفة الموجودة في مجموعة بيانات، مثل الأنواع في مجتمع بيئي، مع مراعاة الثراء البيئي والتجانس والهيمنة . تحديدًا ، إنتروبيا شانون هي لوغاريتم ^1/ D ، وهو مؤشر التنوع الحقيقي بمعامل يساوي 1. يرتبط مؤشر شانون بالوفرة النسبية للأنواع.

هناك عدد من المفاهيم المتعلقة بالإنتروبيا التي تحدد كمياً المحتوى المعلوماتي لتسلسل أو رسالة ما:

• المعلومات الذاتية لرسالة أو رمز فردي مأخوذة من توزيع احتمالي معين (الرسالة أو التسلسل يُنظر إليه كحدث فردي)،
• الإنتروبيا المشتركة للرموز التي تشكل الرسالة أو التسلسل (التي تُرى كمجموعة من الأحداث)،
• معدل الإنتروبيا لعملية عشوائية (تُعتبر الرسالة أو التسلسل بمثابة سلسلة من الأحداث).

(يمكن أيضًا تعريف "معدل المعلومات الذاتية" لتسلسل معين من الرسائل أو الرموز التي تولدها عملية عشوائية معينة: سيكون هذا دائمًا مساويًا لمعدل الإنتروبيا في حالة العملية الثابتة .) كما تُستخدم كميات أخرى من المعلومات لمقارنة أو ربط مصادر المعلومات المختلفة.

من المهم عدم الخلط بين المفاهيم المذكورة أعلاه. غالبًا ما يتضح المقصود من السياق. على سبيل المثال، عندما يقول أحدهم إن "إنتروبيا" اللغة الإنجليزية تبلغ حوالي بت واحد لكل حرف، فإنه في الواقع يصف اللغة الإنجليزية كعملية عشوائية ويتحدث عن معدل إنتروبيتها . وقد استخدم شانون نفسه المصطلح بهذا المعنى.

في حال استخدام كتل كبيرة جدًا، قد ينخفض ​​معدل الإنتروبيا لكل حرف بشكل مصطنع، لأن التوزيع الاحتمالي للتسلسل غير معروف بدقة؛ فهو مجرد تقدير. إذا اعتبرنا نص كل كتاب نُشر على الإطلاق تسلسلًا، حيث يمثل كل رمز نص كتاب كامل، وإذا كان هناك N كتابًا منشورًا، وكل كتاب يُنشر مرة واحدة فقط، فإن تقدير احتمال كل كتاب هو 1/ N _، والإنتروبيا (بالبتات) هي −log₂ (1/ N ) = log₂ ₍ N ) . عمليًا، يُقابل هذا تخصيص مُعرّف فريد لكل كتاب واستخدامه بدلًا من نص الكتاب عند الإشارة إليه. يُعد هذا مفيدًا للغاية عند الحديث عن الكتب، ولكنه ليس كذلك عند وصف المحتوى المعلوماتي لكتاب مُحدد، أو للغة بشكل عام: إذ لا يُمكن إعادة بناء الكتاب من مُعرّفه دون معرفة التوزيع الاحتمالي، أي النص الكامل لجميع الكتب. تكمن الفكرة الأساسية في ضرورة مراعاة تعقيد النموذج الاحتمالي. يُعد تعقيد كولموغوروف تعميمًا نظريًا لهذه الفكرة، إذ يسمح بدراسة المحتوى المعلوماتي لتسلسل ما بمعزل عن أي نموذج احتمالي محدد؛ فهو يُعنى بأقصر برنامج لحاسوب شامل يُخرج هذا التسلسل. يُعدّ الكود الذي يحقق معدل الإنتروبيا لتسلسل ما لنموذج معين، بالإضافة إلى دفتر الشفرات (أي النموذج الاحتمالي)، أحد هذه البرامج، ولكنه قد لا يكون الأقصر.

متتالية فيبوناتشي هي 1، 1، 2، 3، 5، 8، 13، ... وباعتبار المتتالية رسالةً وكل رقم رمزًا، فإن عدد الرموز يكاد يساوي عدد الأحرف في الرسالة، مما يعطي إنتروبيا تقارب log₂ ( n ) . تبلغ _{إنتروبيا} أول 128 رمزًا من متتالية فيبوناتشي حوالي 7 بتات/رمز، ولكن يمكن التعبير عن المتتالية باستخدام الصيغة التالية: [ F( n ) = F( n -1) + F( n -2) حيث n = 3، 4، 5، ... ، F(1) = 1 ، F(2) = 1 ]، وهذه الصيغة ذات إنتروبيا أقل بكثير، وهي قابلة للتطبيق على أي طول لمتتالية فيبوناتشي.

في تحليل الشفرات ، يُستخدم الإنتروبيا غالبًا كمقياس تقريبي لعدم القدرة على التنبؤ بمفتاح التشفير، على الرغم من أن عدم اليقين الحقيقي فيه غير قابل للقياس. على سبيل المثال، مفتاح بطول 128 بت يتم توليده بشكل منتظم وعشوائي يمتلك 128 بت من الإنتروبيا. كما أنه يستغرق (في المتوسط)${\displaystyle 2^{127}}$تعتمد عملية كسر التشفير على التخمينات باستخدام أسلوب التجربة والخطأ. لا يُجدي مفهوم الإنتروبيا في تحديد عدد التخمينات المطلوبة إذا لم يتم اختيار المفاتيح المحتملة بشكل عشوائي. ^{[ 24 ] [ 25 ]} بدلاً من ذلك، يمكن استخدام مقياس يُسمى " التخمين" لقياس الجهد المطلوب لتنفيذ هجوم التجربة والخطأ. ^{[ 26 ]}

قد تنشأ مشاكل أخرى من التوزيعات غير المنتظمة المستخدمة في التشفير. على سبيل المثال، لوحة تشفير ثنائية لمرة واحدة مكونة من مليون رقم باستخدام عملية XOR. إذا كانت اللوحة تحتوي على مليون بت من العشوائية، فهي مثالية. وإذا كانت تحتوي على 999,999 بت من العشوائية موزعة بالتساوي (بحيث يحتوي كل بت من اللوحة على 0.999999 بت من العشوائية)، فقد توفر أمانًا جيدًا. ولكن إذا كانت اللوحة تحتوي على 999,999 بت من العشوائية، حيث يكون البت الأول ثابتًا بينما تكون البتات المتبقية عشوائية تمامًا، فلن يتم تشفير البت الأول من النص المشفر على الإطلاق.

تعتمد إحدى الطرق الشائعة لتعريف الإنتروبيا في النصوص على نموذج ماركوف للنصوص. بالنسبة لمصدر من الرتبة صفر (حيث يتم اختيار كل حرف بشكل مستقل عن الأحرف السابقة)، فإن الإنتروبيا الثنائية هي:

$${\displaystyle \mathrm {H} ({\mathcal {S}})=-\sum _{i}p_{i}\log p_{i},}$$

حيث p _i هي احتمالية i . بالنسبة لمصدر ماركوف من الدرجة الأولى (مصدر تعتمد فيه احتمالية اختيار حرف ما فقط على الحرف السابق له مباشرة)، فإن معدل الإنتروبيا هو: ^{[ 27 ]}

$${\displaystyle \mathrm {H} ({\mathcal {S}})=-\sum _{i}p_{i}\sum _{j}\ p_{i}(j)\log p_{i}(j),}$$

حيث يمثل i حالة (أحرف معينة سابقة) و${\displaystyle p_{i}(j)}$هي احتمالية ظهور الحرف j بشرط أن يكون الحرف i هو الحرف السابق.

بالنسبة لمصدر ماركوف من الدرجة الثانية، يكون معدل الإنتروبيا هو

$${\displaystyle \mathrm {H} ({\mathcal {S}})=-\sum _{i}p_{i}\sum _{j}p_{i}(j)\sum _{k}p_{i,j}(k)\ \log p_{i,j}(k).}$$

يقتصر مفهوم إنتروبيا شانون على المتغيرات العشوائية التي تأخذ قيمًا منفصلة. أما الصيغة المقابلة لمتغير عشوائي متصل ذي دالة كثافة احتمالية f ( x ) ذات مجال محدود أو غير محدود، فهي${\displaystyle \mathbb {X} }$يُعرَّف على خط الأعداد الحقيقية بالقياس، باستخدام الشكل المذكور أعلاه للإنتروبيا كقيمة متوقعة: ^{[ 10 ] : 224}

$${\displaystyle \mathrm {H} (X)=\mathbb {E} [-\log f(X)]=-\int _{\mathbb {X} }f(x)\log f(x)\,\mathrm {d} x.}$$

هذا هو الإنتروبيا التفاضلية (أو الإنتروبيا المستمرة). ويُعدّ التعبير عن الدالة H في نظرية H لبولتزمان مقدمةً للإنتروبيا المستمرة h [ f ] .

على الرغم من أن التشابه بين الدالتين مثير للاهتمام، إلا أنه يجب طرح السؤال التالي: هل الإنتروبيا التفاضلية امتداد صحيح للإنتروبيا المنفصلة لشانون؟ تفتقر الإنتروبيا التفاضلية إلى عدد من الخصائص التي تتمتع بها الإنتروبيا المنفصلة لشانون  - بل يمكن أن تكون سالبة  - وقد تم اقتراح تصحيحات، ولا سيما الحد من كثافة النقاط المنفصلة .

للإجابة على هذا السؤال، يجب إقامة علاقة بين الوظيفتين:

للحصول على مقياس محدود بشكل عام عندما يقترب حجم الفئة من الصفر. في الحالة المنفصلة، ​​يكون حجم الفئة هو العرض (الضمني) لكل فئة من الفئات n (المحدودة أو غير المحدودة) التي يُرمز إلى احتمالاتها بـ p _{_n} . عند تعميم المجال المتصل، يجب تحديد العرض بشكل صريح.

للقيام بذلك، ابدأ بدالة متصلة f مقسمة إلى فئات بحجم${\displaystyle \Delta }$بحسب نظرية القيمة المتوسطة ، توجد قيمة xᵢ _في كل خانة بحيث $${\displaystyle f(x_{i})\Delta =\int _{i\Delta }^{(i+1)\Delta }f(x)\,dx}$$ يمكن تقريب تكامل الدالة f (بالمعنى الريماني) بواسطة $${\displaystyle \int _{-\infty }^{\infty }f(x)\,dx=\lim _{\Delta \to 0}\sum _{i=-\infty }^{\infty }f(x_{i})\Delta ,}$$ حيث يكون هذا الحد و"حجم الحاوية يصبح صفراً" متكافئين.

سنشير إلى $${\displaystyle \mathrm {H} ^{\Delta }:=-\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log \left(f(x_{i})\Delta \right)}$$ وبفك اللوغاريتم، نحصل على $${\displaystyle \mathrm {H} ^{\Delta }=-\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log(f(x_{i}))-\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log(\Delta ).}$$

عندما Δ → 0 ، لدينا

$${\displaystyle {\begin{aligned}\sum _{i=-\infty }^{\infty }f(x_{i})\Delta &\to \int _{-\infty }^{\infty }f(x)\,dx=1\\\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log(f(x_{i}))&\to \int _{-\infty }^{\infty }f(x)\log f(x)\,dx.\end{aligned}}}$$

ملاحظة: log(Δ) → −∞ عندما Δ → 0 ، يتطلب تعريفًا خاصًا للإنتروبيا التفاضلية أو المستمرة:

$${\displaystyle h[f]=\lim _{\Delta \to 0}\left(\mathrm {H} ^{\Delta }+\log \Delta \right)=-\int _{-\infty }^{\infty }f(x)\log f(x)\,dx,}$$

وهذا ما يُشار إليه، كما ذُكر سابقاً، باسم الإنتروبيا التفاضلية. وهذا يعني أن الإنتروبيا التفاضلية ليست نهايةً لإنتروبيا شانون عندما n → ∞ ، بل تختلف عنها بمقدار لانهائي (انظر أيضاً مقال بُعد المعلومات ).

يتضح من ذلك أن الإنتروبيا التفاضلية، على عكس إنتروبيا شانون، ليست عمومًا مقياسًا جيدًا للشك أو المعلومات. فعلى سبيل المثال، قد تكون الإنتروبيا التفاضلية سالبة، كما أنها ليست ثابتة تحت تحويلات الإحداثيات المستمرة. ويمكن توضيح هذه المشكلة بتغيير الوحدات عندما يكون x متغيرًا ذا أبعاد. عندئذٍ، ستكون وحدات f ( x ) هي 1/ x . يجب أن يكون وسيط اللوغاريتم بلا أبعاد، وإلا فسيكون غير صحيح، وبالتالي ستكون الإنتروبيا التفاضلية كما هي مذكورة أعلاه غير صحيحة. إذا كانت Δ قيمة "قياسية" لـ x (أي "حجم الفئة")، وبالتالي لها نفس الوحدات، فيمكن كتابة الإنتروبيا التفاضلية المعدلة بالشكل الصحيح كما يلي: $${\displaystyle \mathrm {H} =\int _{-\infty }^{\infty }f(x)\log(f(x)\,\Delta )\,dx,}$$ وستكون النتيجة نفسها لأي اختيار لوحدات x . في الواقع، نهاية الإنتروبيا المنفصلة هي${\displaystyle N\rightarrow \infty }$سيشمل ذلك أيضاً مدة${\displaystyle \log(N)}$وهو ما سيكون في الغالب لانهائيًا. وهذا متوقع: فالمتغيرات المستمرة عادةً ما يكون لها إنتروبيا لانهائية عند تقسيمها إلى أجزاء منفصلة. إن الكثافة الحدية للنقاط المنفصلة هي في الواقع مقياس لمدى سهولة وصف التوزيع مقارنةً بالتوزيع المنتظم ضمن مخطط التكميم الخاص به.

يُعدّ الإنتروبيا النسبية للتوزيع مقياسًا مفيدًا آخر للإنتروبيا، وهو فعال بنفس القدر في الحالتين المتقطعة والمتصلة . ويُعرَّف بأنه تباعد كولباك-لايبير من التوزيع إلى مقياس مرجعي m كما يلي: لنفترض أن التوزيع الاحتمالي p متصل تمامًا بالنسبة إلى مقياس m ، أي أنه على الصورة p ( dx ) = f ( x ) m ( dx ) لدالة f غير سالبة وقابلة للتكامل بالنسبة إلى m ، حيث m- التكامل يساوي 1، عندئذٍ يمكن تعريف الإنتروبيا النسبية على النحو التالي: $${\displaystyle D_{\mathrm {KL} }(p\|m)=\int \log(f(x))p(dx)=\int f(x)\log(f(x))m(dx).}$$

بهذا الشكل، تُعمّم الإنتروبيا النسبية (مع تغيير الإشارة) كلاً من الإنتروبيا المنفصلة، ​​حيث يكون المقياس m هو مقياس العد ، والإنتروبيا التفاضلية، حيث يكون المقياس m هو مقياس ليبيغ . إذا كان المقياس m نفسه توزيعًا احتماليًا، فإن الإنتروبيا النسبية تكون غير سالبة، وتساوي صفرًا إذا كان p = m كمقياسين. وهي مُعرّفة لأي فضاء قياس، وبالتالي فهي مستقلة عن الإحداثيات وثابتة تحت إعادة تحديد معلمات الإحداثيات إذا أُخذ تحويل المقياس m في الاعتبار بشكل صحيح . تعتمد الإنتروبيا النسبية، والإنتروبيا (ضمنًا) والإنتروبيا التفاضلية، على المقياس "المرجعي" m .

ومن الأمثلة البسيطة على ذلك برهان بديل لمتباينة لوميس-ويتني : لكل مجموعة جزئية A ⊆ Z ^d ، لدينا $${\displaystyle |A|^{d-1}\leq \prod _{i=1}^{d}|P_{i}(A)|}$$ حيث P _i هو الإسقاط المتعامد في الإحداثي رقم i : $${\displaystyle P_{i}(A)=\{(x_{1},\ldots ,x_{i-1},x_{i+1},\ldots ,x_{d}):(x_{1},\ldots ,x_{d})\in A\}.}$$

يُمكن استنتاج البرهان كنتيجة بسيطة لمتباينة شيرر : إذا كانت _X1 ، ...، Xd متغيرات عشوائية، و S1 ، ...، _Sn مجموعات جزئية من {1، ...، _d } بحيث يقع كل عدد صحيح بين 1 و d في r _مجموعة جزئية من هذه المجموعات، فإن $${\displaystyle \mathrm {H} [(X_{1},\ldots ,X_{d})]\leq {\frac {1}{r}}\sum _{i=1}^{n}\mathrm {H} [(X_{j})_{j\in S_{i}}]}$$ أين${\displaystyle (X_{j})_{j\in S_{i}}}$هو حاصل الضرب الديكارتي للمتغيرات العشوائية X _j ذات المؤشرات j في S _i (لذا فإن بُعد هذا المتجه يساوي حجم S _i ).

نُوجز كيف تُستنتج نظرية لوميس-ويتني من هذا: لنفترض أن X متغير عشوائي مُوزّع توزيعًا منتظمًا بقيم في المجموعة A ، بحيث يكون لكل نقطة في A احتمال متساوٍ. عندئذٍ (بحسب خصائص الإنتروبيا المذكورة أعلاه) Η( X ) = log | A | ، حيث | A | تُشير إلى عدد عناصر A. لنفترض أن _Sᵢ = {1, 2, ..., i − 1, i + 1, ..., d }. مدى${\displaystyle (X_{j})_{j\in S_{i}}}$يحتوي على P _i ( A ) وبالتالي${\displaystyle \mathrm {H} [(X_{j})_{j\in S_{i}}]\leq \log |P_{i}(A)|}$. الآن استخدم هذا لتقييد الجانب الأيمن من متباينة شيرر ورفع الجانب الآخر من المتباينة الناتجة إلى الأس.

بالنسبة للأعداد الصحيحة 0 < k < n، ليكن q = k / n . إذن $${\displaystyle {\frac {2^{n\mathrm {H} (q)}}{n+1}}\leq {\tbinom {n}{k}}\leq 2^{n\mathrm {H} (q)},}$$ حيث ^{[ 33 ] : 43}$${\displaystyle \mathrm {H} (q)=-q\log _{2}(q)-(1-q)\log _{2}(1-q).}$$

إثبات (رسم تخطيطي)

لاحظ أن${\displaystyle {\tbinom {n}{k}}q^{qn}(1-q)^{n-nq}}$هو أحد مصطلحات التعبير $${\displaystyle \sum _{i=0}^{n}{\tbinom {n}{i}}q^{i}(1-q)^{n-i}=(q+(1-q))^{n}=1.}$$ بإعادة الترتيب نحصل على الحد الأعلى. أما بالنسبة للحد الأدنى، فيُبين أولاً، باستخدام بعض العمليات الجبرية، أنه أكبر حد في المجموع. ولكن بعد ذلك، $${\displaystyle {\binom {n}{k}}q^{qn}(1-q)^{n-nq}\geq {\frac {1}{n+1}}}$$ بما أن هناك n + 1 حدًا في المجموع، فإن إعادة الترتيب تعطي الحد الأدنى.

التفسير الجيد لهذا هو أن عدد السلاسل الثنائية ذات الطول n والتي تحتوي على k من الآحاد بالضبط هو تقريبًا${\displaystyle 2^{n\mathrm {H} (k/n)}}$[ ^{34 ]​}

• كوفير، تي إم ، وتوماس، جيه إيه (2006)، عناصر نظرية المعلومات - الطبعة الثانية ، وايلي-إنترساينس، رقم ISBN 978-0-471-24195-9
• ماكاي، دي جيه سي (2003)، نظرية المعلومات، الاستدلال وخوارزميات التعلم ، مطبعة جامعة كامبريدج، رقم ISBN 978-0-521-64298-9
• أرندت، سي. (2004)، مقاييس المعلومات: المعلومات ووصفها في العلوم والهندسة ، سبرينغر، ISBN 978-3-540-40855-0
• غراي، آر إم (2011)، الإنتروبيا ونظرية المعلومات ، سبرينغر.
• مارتن، ناثانيال إف جي؛ إنجلاند، جيمس دبليو (2011). النظرية الرياضية للإنتروبيا . مطبعة جامعة كامبريدج. ISBN 978-0-521-17738-2.
• شانون، سي إي ، وويفر، دبليو. (1949) النظرية الرياضية للاتصالات ، مطبعة جامعة إلينوي. ISBN 0-252-72548-4
• ستون، جيه في (2014)، الفصل الأول من كتاب نظرية المعلومات: مقدمة تعليمية. مؤرشف في 3 يونيو 2016 على موقع Wayback Machine ، جامعة شيفيلد، إنجلترا. رقم ISBN 978-0956372857.
• تريبوس، مايرون (1961). الديناميكا الحرارية والحرارية الساكنة: مقدمة في الطاقة والمعلومات وحالات المادة، مع تطبيقات هندسية . سلسلة الجامعة في الهندسة الأساسية، المجلد 1. برينستون: دي. فان نوستراند. OCLC 1036889774 .