الإنتروبيا (نظرية المعلومات)

تحتاج هذه المقالة إلى مصادر إضافية للتحقق . يُرجى المساعدة في تحسين هذه المقالة بإضافة مصادر موثوقة . قد يتم الطعن في المواد غير الموثقة وإزالتها. البحث عن المصادر:  نظرية المعلومات "الإنتروبيا" - الأخبار  · الصحف  · الكتب  · العلماء  · JSTOR ( فبراير 2019 ) ( تعرف على كيفية ومتى تزيل هذه الرسالة )

نظرية المعلومات
إنتروبيا الإنتروبيا التفاضلية الإنتروبيا المشروطة إنتروبيا المفصل معلومات متبادلة معلومات موجهة معلومات متبادلة مشروطة الإنتروبيا النسبية معدل الانتروبيا كثافة محدودة للنقط المنفصلة
خاصية التقسيم المقارب المتساوي نظرية معدل التشويه
نظرية شانون في ترميز المصدر سعة القناة نظرية ترميز القناة الضوضائية نظرية شانون-هارتلي
ف ت هـ

في نظرية المعلومات ، تحدد إنتروبيا المتغير العشوائي المستوى المتوسط ​​لعدم اليقين أو المعلومات المرتبطة بالحالات المحتملة للمتغير أو النتائج المحتملة. يقيس هذا المقدار المتوقع من المعلومات اللازمة لوصف حالة المتغير، مع مراعاة توزيع الاحتمالات عبر جميع الحالات المحتملة. بالنظر إلى متغير عشوائي منفصل ، يأخذ قيمًا في المجموعة ويتم توزيعه وفقًا لـ ، تكون الإنتروبيا حيث تشير إلى المجموع على القيم المحتملة للمتغير. ^{[ملاحظة 1]} يختلف اختيار الأساس لـ ، اللوغاريتم ، باختلاف التطبيقات. يعطي الأساس 2 وحدة البتات (أو " شانون ")، بينما يعطي الأساس e "وحدات طبيعية" nat ، ويعطي الأساس 10 وحدات "dits" أو "bans" أو " hartleys ". التعريف المكافئ للإنتروبيا هو القيمة المتوقعة للمعلومات الذاتية للمتغير. ^[1]${\displaystyle X}$${\displaystyle {\mathcal {X}}}$${\displaystyle p\colon {\mathcal {X}}\to [0,1]}$$${\displaystyle \mathrm {H} (X):=-\sum _{x\in {\mathcal {X}}}p(x)\log p(x),}$$${\displaystyle \Sigma }$${\displaystyle \log }$

تم تقديم مفهوم إنتروبيا المعلومات بواسطة كلود شانون في ورقته البحثية عام 1948 " نظرية رياضية للاتصال "، ^{[2] [3]} ويشار إليها أيضًا باسم إنتروبيا شانون . تحدد نظرية شانون نظام اتصالات البيانات المكون من ثلاثة عناصر: مصدر البيانات وقناة الاتصال والمستقبل. "المشكلة الأساسية للاتصال" - كما عبر عنها شانون - هي أن يكون المستقبل قادرًا على تحديد البيانات التي تم إنشاؤها بواسطة المصدر، بناءً على الإشارة التي يتلقاها من خلال القناة. ^{[2] [3]} نظر شانون في طرق مختلفة لتشفير الرسائل وضغطها ونقلها من مصدر البيانات، وأثبت في نظرية ترميز المصدر أن الإنتروبيا تمثل حدًا رياضيًا مطلقًا لمدى إمكانية ضغط البيانات من المصدر دون فقدان على قناة خالية من الضوضاء تمامًا. عزز شانون هذه النتيجة بشكل كبير للقنوات الصاخبة في نظرية ترميز القناة الصاخبة .

إن الإنتروبيا في نظرية المعلومات تشبه بشكل مباشر الإنتروبيا في الديناميكا الحرارية الإحصائية . وينتج التشابه عندما تشير قيم المتغير العشوائي إلى طاقات الحالات الدقيقة، لذا فإن صيغة جيبس ​​للإنتروبيا متطابقة رسميًا مع صيغة شانون. والإنتروبيا لها صلة بمجالات أخرى من الرياضيات مثل التركيبات والتعلم الآلي . ويمكن استخلاص التعريف من مجموعة من المسلمات التي تنص على أن الإنتروبيا يجب أن تكون مقياسًا لمدى إفادة النتيجة المتوسطة لمتغير ما. وبالنسبة لمتغير عشوائي مستمر، فإن الإنتروبيا التفاضلية تشبه الإنتروبيا. ويعمم التعريف ما سبق. ${\displaystyle \mathbb {E} [-\log p(X)]}$

الفكرة الأساسية لنظرية المعلومات هي أن "القيمة المعلوماتية" للرسالة التي يتم توصيلها تعتمد على مدى مفاجأة محتوى الرسالة. فإذا وقع حدث محتمل للغاية، فإن الرسالة تحمل قدرًا ضئيلًا للغاية من المعلومات. ومن ناحية أخرى، إذا وقع حدث غير محتمل للغاية، فإن الرسالة تكون أكثر إفادة بكثير. على سبيل المثال، توفر المعرفة بأن رقمًا معينًا لن يكون الرقم الفائز في اليانصيب قدرًا ضئيلًا للغاية من المعلومات، لأن أي رقم معين يتم اختياره لن يفوز على الأرجح. ومع ذلك، فإن المعرفة بأن رقمًا معينًا سيفوز في اليانصيب لها قيمة معلوماتية عالية لأنها تنقل وقوع حدث احتمال حدوثه منخفض للغاية.

محتوى المعلومات ، والذي يُسمى أيضًا بالمفاجأة أو المعلومات الذاتية، لحدث ما هو دالة تزداد مع انخفاض احتمال وقوع الحدث. عندما يكون قريبًا من 1، تكون مفاجأة الحدث منخفضة، ولكن إذا كان قريبًا من 0، تكون مفاجأة الحدث عالية. يتم وصف هذه العلاقة بواسطة الدالة حيث هو اللوغاريتم ، والذي يعطي مفاجأة 0 عندما يكون احتمال الحدث 1. ^[4] في الواقع، يعد اللوغاريتم هو الدالة الوحيدة التي تلبي مجموعة محددة من الشروط المحددة في القسم § التوصيف . ${\displaystyle E}$${\displaystyle p(E)}$${\displaystyle p(E)}$${\displaystyle p(E)}$$${\displaystyle \log \left({\frac {1}{p(E)}}\right),}$$${\displaystyle \log }$

ومن ثم، يمكننا تعريف المعلومات، أو المفاجأة، لحدث ما، أو على نحو مكافئ، ${\displaystyle E}$$${\displaystyle I(E)=-\log _{2}(p(E)),}$$$${\displaystyle I(E)=\log _{2}\left({\frac {1}{p(E)}}\right).}$$

يقيس الإنتروبيا الكمية المتوقعة (أي المتوسطة) من المعلومات المنقولة من خلال تحديد نتيجة تجربة عشوائية. ^{[5] : 67} وهذا يعني أن رمي النرد له إنتروبيا أعلى من رمي العملة المعدنية لأن كل نتيجة لرمي النرد لها احتمالية أصغر ( ) من كل نتيجة لرمي العملة المعدنية ( ). ${\displaystyle p=1/6}$${\displaystyle p=1/2}$

لنفترض أن هناك عملة معدنية باحتمال p للهبوط على الوجهين واحتمال 1 − p للهبوط على الظهر. تكون المفاجأة القصوى عندما تكون p = 1/2 ، حيث لا يُتوقع نتيجة واحدة على الأخرى. في هذه الحالة، يكون لرمي العملة المعدنية إنتروبيا مقدارها بت واحد. (وبالمثل، تحتوي التريتة الواحدة ذات القيم المتساوية الاحتمال على (حوالي 1.58496) بت من المعلومات لأنها يمكن أن تحتوي على واحدة من ثلاث قيم.) تكون المفاجأة الدنيا عندما تكون p = 0 أو p = 1 ، عندما تكون نتيجة الحدث معروفة مسبقًا، وتكون الإنتروبيا صفر بت. عندما تكون الإنتروبيا صفر بت، يُشار إلى ذلك أحيانًا باسم الوحدة، حيث لا يوجد أي شك على الإطلاق - لا حرية اختيار - لا معلومات . تعطي القيم الأخرى لـ p إنتروبيات بين صفر وبت واحد. ${\displaystyle \log _{2}3}$

نظرية المعلومات مفيدة لحساب أقل قدر من المعلومات المطلوبة لنقل رسالة، كما هو الحال في ضغط البيانات . على سبيل المثال، ضع في اعتبارك نقل تسلسلات تتألف من 4 أحرف "A" و"B" و"C" و"D" عبر قناة ثنائية. إذا كانت جميع الأحرف الأربعة متساوية الاحتمال (25٪)، فلا يمكن للمرء أن يفعل أفضل من استخدام بتين لتشفير كل حرف. قد يتم ترميز "A" على أنه "00"، و"B" على أنه "01"، و"C" على أنه "10"، و"D" على أنه "11". ومع ذلك، إذا كانت احتمالات كل حرف غير متساوية، على سبيل المثال، يحدث "A" بنسبة احتمال 70٪، و"B" بنسبة 26٪، و"C" و"D" بنسبة 2٪ لكل منهما، فيمكن للمرء تعيين أكواد ذات طول متغير. في هذه الحالة، سيتم ترميز "A" على أنها "0"، و"B" على أنها "10"، و"C" على أنها "110"، و"D" على أنها "111". باستخدام هذا التمثيل، في 70% من الوقت، يلزم إرسال بت واحد فقط، وفي 26% من الوقت، بتان، وفي 4% فقط من الوقت، ثلاثة بتات. وفي المتوسط، يلزم أقل من بتين لأن الإنتروبيا أقل (بسبب الانتشار العالي لـ "A" متبوعًا بـ "B" - معًا 96% من الأحرف). يقيس حساب مجموع احتمالات اللوغاريتم المرجحة بالاحتمالية هذا التأثير ويلتقطه.

إن النص الإنجليزي، إذا ما تم التعامل معه كسلسلة من الأحرف، يتمتع بقدر ضئيل من الإنتروبيا؛ أي أنه يمكن التنبؤ به إلى حد كبير. ويمكننا أن نكون على يقين تام من أن الحرف "e" على سبيل المثال سيكون أكثر شيوعًا من الحرف "z"، وأن المجموعة "qu" ستكون أكثر شيوعًا من أي مجموعة أخرى تحتوي على الحرف "q"، وأن المجموعة "th" ستكون أكثر شيوعًا من الحروف "z" أو "q" أو "qu". وبعد الأحرف القليلة الأولى، يمكننا غالبًا تخمين بقية الكلمة. يحتوي النص الإنجليزي على ما بين 0.6 و1.3 بت من الإنتروبيا لكل حرف من الرسالة. ^{[6] : 234}

تم تسمية شانون على اسم نظرية Η لبولتزمان ، وحدد إنتروبيا Η (الحرف اليوناني الكبير eta ) لمتغير عشوائي منفصل ، والذي يأخذ قيمًا في المجموعة ويتم توزيعه وفقًا لذلك : ${\textstyle X}$${\displaystyle {\mathcal {X}}}$${\displaystyle p:{\mathcal {X}}\to [0,1]}$${\displaystyle p(x):=\mathbb {P} [X=x]}$

$${\displaystyle \mathrm {H} (X)=\mathbb {E} [\operatorname {I} (X)]=\mathbb {E} [-\log p(X)].}$$

هذا هو عامل القيمة المتوقعة ، و I هو محتوى المعلومات لـ X. ^{[7] : 11  [8] : 19–20} هو في حد ذاته متغير عشوائي. ${\displaystyle \mathbb {E} }$ ${\displaystyle \operatorname {I} (X)}$

يمكن كتابة الإنتروبيا صراحةً على النحو التالي: حيث b هو أساس اللوغاريتم المستخدم. القيم المشتركة لـ b هي 2، وعدد أويلر e ، و10، ووحدات الإنتروبيا المقابلة هي البتات لـ b = 2 ، و nats لـ b = e ، و bans لـ b = 10. ^[9 ]$${\displaystyle \mathrm {H} (X)=-\sum _{x\in {\mathcal {X}}}p(x)\log _{b}p(x),}$$

في حالة بالنسبة لبعض ، يتم أخذ قيمة أمر الجمع المقابل 0 log _b (0) على أنها 0 ، وهو ما يتوافق مع الحد : ^{[10] : 13}${\displaystyle p(x)=0}$${\displaystyle x\in {\mathcal {X}}}$ $${\displaystyle \lim _{p\to 0^{+}}p\log(p)=0.}$$

يمكن أيضًا تعريف الإنتروبيا الشرطية لمتغيرين وأخذ القيم من المجموعات و على التوالي، على النحو التالي: ^{[10] : 16} حيث و . يجب فهم هذه الكمية على أنها العشوائية المتبقية في المتغير العشوائي المعطى للمتغير العشوائي . ${\displaystyle X}$${\displaystyle Y}$${\displaystyle {\mathcal {X}}}$${\displaystyle {\mathcal {Y}}}$ $${\displaystyle \mathrm {H} (X|Y)=-\sum _{x,y\in {\mathcal {X}}\times {\mathcal {Y}}}p_{X,Y}(x,y)\log {\frac {p_{X,Y}(x,y)}{p_{Y}(y)}},}$$${\displaystyle p_{X,Y}(x,y):=\mathbb {P} [X=x,Y=y]}$${\displaystyle p_{Y}(y)=\mathbb {P} [Y=y]}$${\displaystyle X}$${\displaystyle Y}$

يمكن تعريف الإنتروبيا رسميًا في لغة نظرية القياس على النحو التالي: ^[11 ] ليكن فضاء احتمالية . ليكن حدثًا . المفاجأة هي${\displaystyle (X,\Sigma ,\mu )}$${\displaystyle A\in \Sigma }$${\displaystyle A}$$${\displaystyle \sigma _{\mu }(A)=-\ln \mu (A).}$$

المفاجأة المتوقعة هي​ ${\displaystyle A}$$${\displaystyle h_{\mu }(A)=\mu (A)\sigma _{\mu }(A).}$$

A -almost division هي مجموعة عائلية بحيث و لجميع المميزات . (هذا تخفيف للشروط المعتادة للتقسيم.) إنتروبيا هي ${\displaystyle \mu }$ ${\displaystyle P\subseteq {\mathcal {P}}(X)}$${\displaystyle \mu (\mathop {\cup } P)=1}$${\displaystyle \mu (A\cap B)=0}$${\displaystyle A,B\in P}$${\displaystyle P}$$${\displaystyle \mathrm {H} _{\mu }(P)=\sum _{A\in P}h_{\mu }(A).}$$

ليكن جبر سيجما على . إنتروبيا هي وأخيرًا، إنتروبيا فضاء الاحتمالات هي ، أي إنتروبيا بالنسبة إلى جبر سيجما لجميع المجموعات الفرعية القابلة للقياس لـ . ${\displaystyle M}$${\displaystyle X}$${\displaystyle M}$$${\displaystyle \mathrm {H} _{\mu }(M)=\sup _{P\subseteq M}\mathrm {H} _{\mu }(P).}$$${\displaystyle \mathrm {H} _{\mu }(\Sigma )}$${\displaystyle \mu }$${\displaystyle X}$

خذ في الاعتبار رمي عملة معدنية مع احتمالات معروفة، وليس بالضرورة عادلة، لظهور الوجه أو الظهر؛ يمكن أن يتم نمذجتها على أنها عملية برنولي .

إن إنتروبيا النتيجة غير المعروفة للرمية التالية للعملة المعدنية تكون في أقصى حد لها إذا كانت العملة المعدنية عادلة (أي إذا كان لكل من الوجه والكتابة احتمال متساوٍ بنسبة 1/2). وهذا هو الوضع الذي يتسم بأقصى درجات عدم اليقين لأنه من الأصعب التنبؤ بنتيجة الرمية التالية؛ فنتيجة كل رمية للعملة المعدنية تقدم بتًا كاملاً من المعلومات. وذلك لأن $${\displaystyle {\begin{aligned}\mathrm {H} (X)&=-\sum _{i=1}^{n}{p(x_{i})\log _{b}p(x_{i})}\\&=-\sum _{i=1}^{2}{{\frac {1}{2}}\log _{2}{\frac {1}{2}}}\\&=-\sum _{i=1}^{2}{{\frac {1}{2}}\cdot (-1)}=1.\end{aligned}}}$$

ومع ذلك، إذا علمنا أن العملة المعدنية ليست عادلة، ولكنها تظهر وجهًا أو ظهرًا باحتمالات p و q ، حيث p ≠ q ، فإن عدم اليقين يكون أقل. في كل مرة يتم رميها، يكون من المرجح أن يظهر أحد الجانبين أكثر من الآخر. يتم قياس عدم اليقين المنخفض في إنتروبيا أقل: في المتوسط، تقدم كل رمية للعملة المعدنية أقل من بت كامل من المعلومات. على سبيل المثال، إذا كانت p = 0.7، إذن $${\displaystyle {\begin{aligned}\mathrm {H} (X)&=-p\log _{2}(p)-q\log _{2}(q)\\&=-0.7\log _{2}(0.7)-0.3\log _{2}(0.3)\\&\approx -0.7\cdot (-0.515)-0.3\cdot (-1.737)\\&=0.8816<1.\end{aligned}}}$$

إن الاحتمالية المنتظمة تنتج أقصى قدر من عدم اليقين وبالتالي أقصى قدر من الإنتروبيا. وبالتالي فإن الإنتروبيا لا يمكن أن تقل إلا من القيمة المرتبطة بالاحتمالية المنتظمة. والحالة المتطرفة هي حالة العملة المعدنية ذات الوجهين التي لا تظهر أبدًا على الوجه الخلفي، أو العملة المعدنية ذات الذيلين التي لا تظهر أبدًا على الوجه الخلفي. عندئذٍ لا يوجد عدم يقين. فالإنتروبيا تساوي صفرًا: فكل رمية للعملة المعدنية لا تقدم أي معلومات جديدة لأن نتيجة كل رمية للعملة المعدنية تكون دائمًا مؤكدة. ^{[10] : 14–15}

لفهم معنى −Σ p _i log( p _i ) ، قم أولاً بتعريف دالة المعلومات I من حيث الحدث i باحتمال p _i . تتبع كمية المعلومات المكتسبة بسبب ملاحظة الحدث i حل شانون للخصائص الأساسية للمعلومات : ^[12]

1. I( p ) يتناقص بشكل رتيب في p : تؤدي الزيادة في احتمالية وقوع حدث ما إلى تقليل المعلومات من الحدث المرصود، والعكس صحيح.
2. I(1) = 0 : الأحداث التي تحدث دائمًا لا تنقل أي معلومات.
3. I( p1 · p2 ₎ = I( p1 ) + I( _{p2 )} : المعلومات المستفادة من _{الأحداث} المستقلة هي مجموع المعلومات المستفادة من كل حدث.

في حالة وجود حدثين مستقلين، إذا كان الحدث الأول يمكن أن ينتج عنه نتيجة متساوية الاحتمالات من n وكان الحدث الآخر ينتج عنه نتيجة متساوية الاحتمالات من m ، فإن هناك mn نتيجة متساوية الاحتمالات للحدث المشترك. وهذا يعني أنه إذا كانت هناك حاجة إلى log ₂ ( n ) بت لتشفير القيمة الأولى و log ₂ ( m ) لتشفير القيمة الثانية، فإننا نحتاج إلى log ₂ ( mn ) = log ₂ ( m ) + log ₂ ( n ) لتشفير كليهما.

اكتشف شانون أن الاختيار المناسب يتم بواسطة: ^[13]${\displaystyle \operatorname {I} }$ $${\displaystyle \operatorname {I} (p)=\log \left({\tfrac {1}{p}}\right)=-\log(p).}$$

في الواقع، القيم الوحيدة الممكنة لـ هي لـ . بالإضافة إلى ذلك، فإن اختيار قيمة لـ k يعادل اختيار قيمة لـ ، بحيث يتوافق x مع الأساس للوغاريتم . وبالتالي، تتميز الإنتروبيا بالخصائص الأربع المذكورة أعلاه. ${\displaystyle \operatorname {I} }$${\displaystyle \operatorname {I} (u)=k\log u}$${\displaystyle k<0}$${\displaystyle x>1}$${\displaystyle k=-1/\log x}$

دليل

لتكن دالة المعلومات التي نفترض أنها قابلة للاشتقاق مرتين بشكل مستمر، لدينا: ${\textstyle \operatorname {I} }$ ${\displaystyle {\begin{aligned}&\operatorname {I} (p_{1}p_{2})&=\ &\operatorname {I} (p_{1})+\operatorname {I} (p_{2})&&\quad {\text{Starting from property 3}}\\&p_{2}\operatorname {I} '(p_{1}p_{2})&=\ &\operatorname {I} '(p_{1})&&\quad {\text{taking the derivative w.r.t}}\ p_{1}\\&\operatorname {I} '(p_{1}p_{2})+p_{1}p_{2}\operatorname {I} ''(p_{1}p_{2})&=\ &0&&\quad {\text{taking the derivative w.r.t}}\ p_{2}\\&\operatorname {I} '(u)+u\operatorname {I} ''(u)&=\ &0&&\quad {\text{introducing}}\,u=p_{1}p_{2}\\&(u\operatorname {I} '(u))'&=\ &0&&\quad {\text{combining terms into one}}\ \\&u\operatorname {I} '(u)-k&=\ &0&&\quad {\text{integrating w.r.t}}\ u,{\text{producing constant}}\,k\\\end{aligned}}}$ تؤدي هذه المعادلة التفاضلية إلى الحل لبعض . الخاصية 2 تعطي . الخاصيتان 1 و 2 تعطيان ذلك لجميع ، بحيث . ${\displaystyle \operatorname {I} (u)=k\log u+c}$${\displaystyle k,c\in \mathbb {R} }$${\displaystyle c=0}$${\displaystyle \operatorname {I} (p)\geq 0}$${\displaystyle p\in [0,1]}$${\displaystyle k<0}$

الوحدات المختلفة للمعلومات ( بتات للوغاريتم الثنائي log ₂ ، وnats للوغاريتم الطبيعي ln ، و bans للوغاريتم العشري log ₁₀ وهكذا) هي مضاعفات ثابتة لبعضها البعض. على سبيل المثال، في حالة رمي العملة بشكل عادل، توفر الوجه log ₂ (2) = 1 بت من المعلومات، وهو ما يعادل تقريبًا 0.693 nats أو 0.301 رقمًا عشريًا. وبسبب الجمع، توفر n رمية n بتًا من المعلومات، وهو ما يعادل تقريبًا 0.693 n nats أو 0.301 n رقمًا عشريًا.

لا يهم معنى الأحداث التي تم رصدها (معنى الرسائل ) في تعريف الإنتروبيا. لا تأخذ الإنتروبيا في الاعتبار إلا احتمالية رصد حدث معين، وبالتالي فإن المعلومات التي تحتويها هي معلومات حول توزيع الاحتمالات الأساسي ، وليس معنى الأحداث نفسها.

يستخدم توصيف آخر للإنتروبيا الخصائص التالية. نشير إلى p _i = Pr( X = x _i ) و Η _n ( p ₁ , ..., p _n ) = Η( X ) .

1. الاستمرارية: يجب أن تكون H مستمرة ، بحيث أن تغيير قيم الاحتمالات بمقدار صغير جدًا يجب أن يؤدي فقط إلى تغيير الإنتروبيا بمقدار صغير.
2. التماثل: يجب أن يظل H ثابتًا إذا تم إعادة ترتيب النتائج x _i . أي لأي تبديل لـ .${\displaystyle \mathrm {H} _{n}\left(p_{1},p_{2},\ldots p_{n}\right)=\mathrm {H} _{n}\left(p_{i_{1}},p_{i_{2}},\ldots ,p_{i_{n}}\right)}$ ${\displaystyle \{i_{1},...,i_{n}\}}$${\displaystyle \{1,...,n\}}$
3. الحد الأقصى: يجب أن يكون الحد الأقصى إذا كانت جميع النتائج محتملة بشكل متساوٍ، أي .${\displaystyle \mathrm {H} _{n}}$${\displaystyle \mathrm {H} _{n}(p_{1},\ldots ,p_{n})\leq \mathrm {H} _{n}\left({\frac {1}{n}},\ldots ,{\frac {1}{n}}\right)}$
4. زيادة عدد النتائج: بالنسبة للأحداث المتساوية الاحتمال، يجب أن تزداد الإنتروبيا مع عدد النتائج، أي${\displaystyle \mathrm {H} _{n}{\bigg (}\underbrace {{\frac {1}{n}},\ldots ,{\frac {1}{n}}} _{n}{\bigg )}<\mathrm {H} _{n+1}{\bigg (}\underbrace {{\frac {1}{n+1}},\ldots ,{\frac {1}{n+1}}} _{n+1}{\bigg )}.}$
5. الجمع: إذا كان لدينا مجموعة مكونة من n عنصر موزعة بشكل موحد ومقسمة إلى k صندوق (أنظمة فرعية) بحيث يحتوي كل منها على b ₁ ، ..., b _k عنصر، فإن إنتروبيا المجموعة بأكملها يجب أن تكون مساوية لمجموع إنتروبيا نظام الصناديق والإنتروبيا الفردية للصناديق، كل منها مرجح باحتمالية وجوده في ذلك الصندوق المعين.

لقاعدة الجمع النتائج التالية: بالنسبة للأعداد الصحيحة الموجبة b _i حيث b ₁ + ... + b _k = n ،

${\displaystyle \mathrm {H} _{n}\left({\frac {1}{n}},\ldots ,{\frac {1}{n}}\right)=\mathrm {H} _{k}\left({\frac {b_{1}}{n}},\ldots ,{\frac {b_{k}}{n}}\right)+\sum _{i=1}^{k}{\frac {b_{i}}{n}}\,\mathrm {H} _{b_{i}}\left({\frac {1}{b_{i}}},\ldots ,{\frac {1}{b_{i}}}\right).}$

اختيار k = n ، b ₁ = ... = b _n = 1 يعني أن إنتروبيا نتيجة معينة تساوي صفرًا: Η ₁ (1) = 0. وهذا يعني أن كفاءة مجموعة المصدر التي تحتوي على n رمزًا يمكن تعريفها ببساطة على أنها تساوي إنتروبيتها n -ary. انظر أيضًا التكرار (نظرية المعلومات) .

تفرض هذه الخاصية خاصية إضافية فيما يتعلق بقسم من مجموعة . وفي الوقت نفسه، يتم تعريف الاحتمال الشرطي من حيث خاصية الضرب،. لاحظ أن اللوغاريتم يتوسط بين هاتين العمليتين. ترث الإنتروبيا الشرطية والكميات ذات الصلة علاقة بسيطة، بدورها. عرّف التعريف النظري للقياس في القسم السابق الإنتروبيا على أنها مجموع على المفاجآت المتوقعة لقسم متطرف. هنا يكون اللوغاريتم مخصصًا والإنتروبيا ليست مقياسًا في حد ذاته. على الأقل في نظرية المعلومات الخاصة بالسلسلة الثنائية، تصلح للتفسير العملي. ${\displaystyle P(A\mid B)\cdot P(B)=P(A\cap B)}$${\displaystyle \mu (A)\cdot \ln \mu (A)}$${\displaystyle \log _{2}}$

بدافع من هذه العلاقات، تم تعريف وفرة من الكميات ذات الصلة والمتنافسة. على سبيل المثال، يحدد تحليل ديفيد إلرمان لـ "منطق التقسيمات" مقياسًا متنافسًا في الهياكل المزدوجة لتلك الخاصة بالمجموعات الفرعية لمجموعة عالمية. ^[14] يتم تحديد المعلومات على أنها "dits" (تمييزات)، وهي مقياس على التقسيمات. يمكن تحويل "dits" إلى بتات شانون ، للحصول على صيغ الإنتروبيا الشرطية، وما إلى ذلك.

تم تقديم توصيف بديهي موجز آخر لإنتروبيا شانون بواسطة Aczél و Forte و Ng، ^[15] من خلال الخصائص التالية:

1. الجمع الجزئي: للمتغيرات العشوائية الموزعة بشكل مشترك .${\displaystyle \mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)}$${\displaystyle X,Y}$
2. الجمع: عندما تكون المتغيرات العشوائية مستقلة.${\displaystyle \mathrm {H} (X,Y)=\mathrm {H} (X)+\mathrm {H} (Y)}$${\displaystyle X,Y}$
3. قابلية التوسعة: أي أن إضافة نتيجة باحتمالية صفر لا يغير الإنتروبيا.${\displaystyle \mathrm {H} _{n+1}(p_{1},\ldots ,p_{n},0)=\mathrm {H} _{n}(p_{1},\ldots ,p_{n})}$
4. التماثل: ثابت تحت تبديل .${\displaystyle \mathrm {H} _{n}(p_{1},\ldots ,p_{n})}$${\displaystyle p_{1},\ldots ,p_{n}}$
5. صغير للاحتمالات الصغيرة: .${\displaystyle \lim _{q\to 0^{+}}\mathrm {H} _{2}(1-q,q)=0}$

لقد تبين أن أي دالة تلبي الخصائص المذكورة أعلاه يجب أن تكون مضاعفًا ثابتًا لإنتروبيا شانون، مع ثابت غير سلبي. ^[15] وبالمقارنة مع خصائص الإنتروبيا المذكورة سابقًا، فإن هذه الخصائص تركز على خصائص الإنتروبيا كدالة للمتغيرات العشوائية (الجمعية الفرعية والجمعية)، بدلاً من خصائص الإنتروبيا كدالة لمتجه الاحتمالية . ${\displaystyle \mathrm {H} }$${\displaystyle p_{1},\ldots ,p_{n}}$

من الجدير بالذكر أنه إذا أسقطنا خاصية "صغير لاحتمالات صغيرة"، فيجب أن يكون هناك تركيبة خطية غير سلبية من إنتروبيا شانون وإنتروبيا هارتلي . ^[15]${\displaystyle \mathrm {H} }$

إن إنتروبيا شانون تلبي الخصائص التالية، والتي يكون من المفيد تفسير الإنتروبيا لبعضها على أنها الكمية المتوقعة من المعلومات المكتسبة (أو عدم اليقين الذي تم القضاء عليه) من خلال الكشف عن قيمة المتغير العشوائي X :

• إن إضافة أو إزالة حدث باحتمالية صفر لا يساهم في الإنتروبيا:

${\displaystyle \mathrm {H} _{n+1}(p_{1},\ldots ,p_{n},0)=\mathrm {H} _{n}(p_{1},\ldots ,p_{n})}$.

• الحد الأقصى للإنتروبيا لحدث له n نتيجة مختلفة هو log _b ( n ) : ويتم الوصول إليه من خلال توزيع الاحتمالات المنتظم. أي أن عدم اليقين يكون في أقصى حد له عندما تكون جميع الأحداث الممكنة متساوية الاحتمالات:

${\displaystyle \mathrm {H} (p_{1},\dots ,p_{n})\leq \log _{b}n}$^[10] : ²⁹

• إن الإنتروبيا أو كمية المعلومات التي يتم الكشف عنها من خلال تقييم ( X ، Y ) (أي تقييم X و Y في وقت واحد) تساوي المعلومات التي يتم الكشف عنها من خلال إجراء تجربتين متتاليتين: أولاً تقييم قيمة Y ، ثم الكشف عن قيمة X بشرط أن تعرف قيمة Y. ويمكن كتابة ذلك على النحو التالي: ^{[10] : 16}

${\displaystyle \mathrm {H} (X,Y)=\mathrm {H} (X|Y)+\mathrm {H} (Y)=\mathrm {H} (Y|X)+\mathrm {H} (X).}$

• إذا كانت حيث دالة، فإن . بتطبيق الصيغة السابقة على الناتج${\displaystyle Y=f(X)}$${\displaystyle f}$${\displaystyle \mathrm {H} (f(X)|X)=0}$${\displaystyle \mathrm {H} (X,f(X))}$

${\displaystyle \mathrm {H} (X)+\mathrm {H} (f(X)|X)=\mathrm {H} (f(X))+\mathrm {H} (X|f(X)),}$

لذا ، فإن إنتروبيا المتغير لا يمكن أن تنخفض إلا عندما يمر الأخير عبر دالة.${\displaystyle \mathrm {H} (f(X))\leq \mathrm {H} (X)}$

• إذا كان X و Y متغيرين عشوائيين مستقلين، فإن معرفة قيمة Y لا تؤثر على معرفتنا بقيمة X (نظرًا لأن الاثنين لا يؤثران على بعضهما البعض بالاستقلال):

${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X).}$

• بشكل عام، لأي متغيرات عشوائية X و Y ، لدينا

${\displaystyle \mathrm {H} (X|Y)\leq \mathrm {H} (X)}$^[10] : ²⁹

• إن إنتروبيا حدثين متزامنين لا تزيد عن مجموع إنتروبيات كل حدث على حدة، أي ، مع المساواة إذا وفقط إذا كان الحدثان مستقلين. ^{[10] : 28}${\displaystyle \mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)}$
• الإنتروبيا مقعرة في دالة الكتلة الاحتمالية ، أي [ 10 ^{] : 30}${\displaystyle \mathrm {H} (p)}$${\displaystyle p}$

${\displaystyle \mathrm {H} (\lambda p_{1}+(1-\lambda )p_{2})\geq \lambda \mathrm {H} (p_{1})+(1-\lambda )\mathrm {H} (p_{2})}$

لجميع وظائف الكتلة الاحتمالية و . ^{[10] : 32}${\displaystyle p_{1},p_{2}}$${\displaystyle 0\leq \lambda \leq 1}$

• وعليه، فإن دالة الإنتروبيا السلبية (الإنتروبيا السلبية) محدبة، ومقترنها المحدب هو LogSumExp .

جاء الإلهام لاعتماد كلمة إنتروبيا في نظرية المعلومات من التشابه الوثيق بين صيغة شانون وصيغ معروفة مشابهة جدًا في الميكانيكا الإحصائية .

في الديناميكا الحرارية الإحصائية، الصيغة الأكثر عمومية للإنتروبيا الديناميكية الحرارية S لنظام ديناميكي حراري هي إنتروبيا جيبس

${\displaystyle S=-k_{\text{B}}\sum p_{i}\ln p_{i}\,,}$

حيث k _B هو ثابت بولتزمان ، و p _i هو احتمالية الحالة الدقيقة . تم تعريف إنتروبيا جيبس ​​بواسطة J. Willard Gibbs في عام 1878 بعد عمل سابق لبولتزمان (1872). ^[16]

تنتقل إنتروبيا جيبس ​​دون تغيير تقريبًا إلى عالم الفيزياء الكمومية لتعطي إنتروبيا فون نيومان التي قدمها جون فون نيومان في عام 1927:

${\displaystyle S=-k_{\text{B}}\,{\rm {Tr}}(\rho \ln \rho )\,,}$

حيث ρ هي مصفوفة الكثافة للنظام الميكانيكي الكمومي وTr هو الأثر . ^[17]

على المستوى العملي اليومي، لا تكون الروابط بين إنتروبيا المعلومات وإنتروبيا الديناميكية الحرارية واضحة. يميل الفيزيائيون والكيميائيون إلى الاهتمام أكثر بالتغيرات في الإنتروبيا مع تطور النظام تلقائيًا بعيدًا عن ظروفه الأولية، وفقًا للقانون الثاني للديناميكا الحرارية ، بدلاً من توزيع الاحتمالات غير المتغير. وكما تشير دقة ثابت بولتزمان k _B ، فإن التغييرات في S / k _B حتى لكميات ضئيلة من المواد في العمليات الكيميائية والفيزيائية تمثل كميات من الإنتروبيا كبيرة للغاية مقارنة بأي شيء في ضغط البيانات أو معالجة الإشارات . في الديناميكا الحرارية الكلاسيكية، يتم تعريف الإنتروبيا من حيث القياسات العيانية ولا تشير إلى أي توزيع احتمالي، وهو أمر أساسي لتعريف إنتروبيا المعلومات.

كان أول من وضع العلاقة بين الديناميكا الحرارية وما يعرف الآن بنظرية المعلومات هو لودفيج بولتزمان، وتم التعبير عن ذلك من خلال معادلته :

${\displaystyle S=k_{\text{B}}\ln W,}$

حيث هي الإنتروبيا الديناميكية الحرارية لحالة ماكروية معينة (يتم تحديدها من خلال المعلمات الديناميكية الحرارية مثل درجة الحرارة والحجم والطاقة وما إلى ذلك)، و W هو عدد الحالات الدقيقة (مجموعات مختلفة من الجسيمات في حالات طاقة مختلفة) التي يمكن أن تنتج الحالة الكلية المعينة، و k _B هو ثابت بولتزمان . ^[18] يُفترض أن كل حالة دقيقة متساوية الاحتمال، بحيث يكون احتمال حالة دقيقة معينة هو p _i = 1/ W. عندما يتم استبدال هذه الاحتمالات في التعبير أعلاه عن إنتروبيا جيبس ​​(أو ما يعادلها k _B مضروبًا في إنتروبيا شانون)، تنتج معادلة بولتزمان. من حيث نظرية المعلومات، فإن إنتروبيا المعلومات لنظام ما هي مقدار المعلومات "المفقودة" اللازمة لتحديد حالة دقيقة، بالنظر إلى الحالة الكلية. ${\displaystyle S}$

من وجهة نظر جاينز (1957)، ^[19] يجب النظر إلى الإنتروبيا الديناميكية الحرارية، كما تفسرها الميكانيكا الإحصائية ، على أنها تطبيق لنظرية معلومات شانون: يتم تفسير الإنتروبيا الديناميكية الحرارية على أنها تتناسب مع كمية معلومات شانون الإضافية اللازمة لتحديد الحالة المجهرية التفصيلية للنظام، والتي تظل غير متصلة من خلال الوصف فقط من حيث المتغيرات العيانية للديناميكا الحرارية الكلاسيكية، مع كون ثابت التناسب هو ثابت بولتزمان فقط . تؤدي إضافة الحرارة إلى نظام إلى زيادة إنتروبيته الديناميكية الحرارية لأنها تزيد من عدد الحالات المجهرية المحتملة للنظام والتي تتوافق مع القيم القابلة للقياس لمتغيراته العيانية، مما يجعل أي وصف كامل للحالة أطول. (انظر المقال: الديناميكا الحرارية لأقصى إنتروبيا ). يمكن لشيطان ماكسويل (افتراضيًا) تقليل الإنتروبيا الديناميكية الحرارية لنظام باستخدام معلومات حول حالات الجزيئات الفردية؛ ولكن كما أظهر لانداور (منذ عام 1961) وزملاؤه ^{[20] ، فإن الشيطان نفسه لكي يعمل يجب أن يزيد من الإنتروبيا الديناميكية الحرارية في هذه العملية، على الأقل بمقدار معلومات شانون التي يقترح اكتسابها وتخزينها أولاً؛ وبالتالي فإن الإنتروبيا الديناميكية الحرارية الكلية لا تنخفض (وهو ما يحل المفارقة). يفرض} مبدأ لانداور حدًا أدنى لكمية الحرارة التي يجب أن يولدها الكمبيوتر لمعالجة كمية معينة من المعلومات، على الرغم من أن أجهزة الكمبيوتر الحديثة أقل كفاءة بكثير.

يمكن لتعريف شانون للإنتروبيا، عند تطبيقه على مصدر معلومات، تحديد الحد الأدنى لسعة القناة المطلوبة لنقل المصدر بشكل موثوق كأرقام ثنائية مشفرة. تقيس إنتروبيا شانون المعلومات الواردة في رسالة على عكس جزء الرسالة الذي يتم تحديده (أو التنبؤ به). تشمل الأمثلة الأخيرة التكرار في بنية اللغة أو الخصائص الإحصائية المتعلقة بترددات حدوث أزواج الحروف أو الكلمات أو الثلاثيات وما إلى ذلك. يمكن تحقيق الحد الأدنى لسعة القناة من الناحية النظرية باستخدام المجموعة النموذجية أو في الممارسة العملية باستخدام هوفمان أو ليمبل-زيف أو الترميز الحسابي . (انظر أيضًا تعقيد كولموغوروف ). في الممارسة العملية، تتضمن خوارزميات الضغط عمدًا بعض التكرار الحكيم في شكل مبالغ اختبارية للحماية من الأخطاء. معدل إنتروبيا مصدر البيانات هو متوسط ​​عدد البتات لكل رمز مطلوب لترميزه. تُظهر تجارب شانون مع المتنبئين البشريين معدل معلومات يتراوح بين 0.6 و 1.3 بت لكل حرف في اللغة الإنجليزية؛ ^[21] يمكن لخوارزمية ضغط PPM تحقيق نسبة ضغط تبلغ 1.5 بت لكل حرف في النص الإنجليزي.

إذا كان مخطط الضغط بدون فقدان - حيث يمكنك دائمًا استرداد الرسالة الأصلية بالكامل عن طريق فك الضغط - فإن الرسالة المضغوطة تحتوي على نفس كمية المعلومات الموجودة في الأصل ولكنها تُنقل بأحرف أقل. تحتوي على مزيد من المعلومات (إنتروبيا أعلى) لكل حرف. تحتوي الرسالة المضغوطة على تكرار أقل . تنص نظرية شانون للترميز المصدري على أن مخطط الضغط بدون فقدان لا يمكنه ضغط الرسائل، في المتوسط، بحيث تحتوي على أكثر من بت واحد من المعلومات لكل بت من الرسالة، ولكن يمكن الحصول على أي قيمة أقل من بت واحد من المعلومات لكل بت من الرسالة باستخدام مخطط ترميز مناسب. إن إنتروبيا الرسالة لكل بت مضروبة في طول تلك الرسالة هي مقياس لمقدار المعلومات الإجمالية التي تحتوي عليها الرسالة. تشير نظرية شانون أيضًا إلى أنه لا يمكن لأي مخطط ضغط بدون فقدان تقصير جميع الرسائل. إذا خرجت بعض الرسائل أقصر، فيجب أن تخرج واحدة على الأقل أطول بسبب مبدأ الحمام . في الاستخدام العملي، لا يمثل هذا مشكلة بشكل عام، لأن الشخص عادة ما يكون مهتمًا فقط بضغط أنواع معينة من الرسائل، مثل مستند باللغة الإنجليزية، بدلاً من النص غير المفهوم، أو الصور الرقمية بدلاً من الضوضاء، ومن غير المهم أن تجعل خوارزمية الضغط بعض التسلسلات غير المحتملة أو غير المثيرة للاهتمام أكبر.

تقدر دراسة أجريت عام 2011 في مجلة ساينس القدرة التكنولوجية العالمية على تخزين وتوصيل المعلومات المضغوطة بشكل مثالي والموحدة على أكثر خوارزميات الضغط فعالية المتاحة في عام 2007، وبالتالي تقدير إنتروبيا المصادر المتاحة تكنولوجيًا. ^{[22] : 60–65}

جميع الأرقام في إكسابايت مضغوطة إنتروبيا

نوع المعلومات	1986	2007
تخزين	2.6	295
إذاعة	432	1900
الاتصالات السلكية واللاسلكية	0.281	65

يقدر المؤلفون القدرة التكنولوجية للبشرية على تخزين المعلومات (المضغوطة إنتروبيًا بالكامل) في عام 1986 ومرة ​​أخرى في عام 2007. ويقسمون المعلومات إلى ثلاث فئات - تخزين المعلومات على وسيط، أو تلقي المعلومات من خلال شبكات البث أحادية الاتجاه ، أو تبادل المعلومات من خلال شبكات الاتصالات ثنائية الاتجاه . ^[22]

الإنتروبيا هي إحدى الطرق العديدة لقياس التنوع البيولوجي، وتُطبق في شكل مؤشر شانون . ^[23] مؤشر التنوع هو مقياس إحصائي كمي لعدد الأنواع المختلفة الموجودة في مجموعة بيانات، مثل الأنواع في مجتمع ما، مع مراعاة الثراء البيئي والتساوي والهيمنة . على وجه التحديد، إنتروبيا شانون هي لوغاريتم ¹ D ، مؤشر التنوع الحقيقي مع معامل يساوي 1. يرتبط مؤشر شانون بالوفرة النسبية للأنواع.

هناك عدد من المفاهيم المرتبطة بالإنتروبيا والتي تقوم بقياس محتوى المعلومات في تسلسل أو رسالة رياضيا:

• المعلومات الذاتية لرسالة فردية أو رمز مأخوذ من توزيع احتمالي معين (الرسالة أو التسلسل يُنظر إليه كحدث فردي)،
• الإنتروبيا المشتركة للرموز التي تشكل الرسالة أو التسلسل (كما يُنظر إليها كمجموعة من الأحداث)،
• معدل إنتروبيا عملية عشوائية ( تعتبر الرسالة أو التسلسل عبارة عن سلسلة من الأحداث).

(يمكن أيضًا تعريف "معدل المعلومات الذاتية" لتسلسل معين من الرسائل أو الرموز التي تولدها عملية عشوائية معينة: سيكون هذا دائمًا مساويًا لمعدل الإنتروبيا في حالة العملية الثابتة .) تُستخدم أيضًا كميات أخرى من المعلومات لمقارنة أو ربط مصادر المعلومات المختلفة.

من المهم عدم الخلط بين المفاهيم المذكورة أعلاه. غالبًا ما يتضح من السياق فقط أيهما المقصود. على سبيل المثال، عندما يقول شخص ما أن "انتروبيا" اللغة الإنجليزية تبلغ حوالي بت واحد لكل حرف، فهو في الواقع يصمم اللغة الإنجليزية كعملية عشوائية ويتحدث عن معدل انتروبيتها . استخدم شانون نفسه المصطلح بهذه الطريقة.

إذا تم استخدام كتل كبيرة جدًا، فقد يصبح تقدير معدل إنتروبيا الحرف الواحد منخفضًا بشكل مصطنع لأن توزيع احتمالية التسلسل غير معروف تمامًا؛ إنه مجرد تقدير. إذا اعتبرنا نص كل كتاب تم نشره على الإطلاق كتسلسل، حيث يكون كل رمز هو نص كتاب كامل، وإذا كان هناك N كتابًا منشورًا، وتم نشر كل كتاب مرة واحدة فقط، فإن تقدير احتمالية كل كتاب هو 1/ N ، والإنتروبيا (بالبتات) هي −log ₂ (1/ N ) = log ₂ ( N ) . وكرمز عملي، يتوافق هذا مع تعيين معرف فريد لكل كتاب واستخدامه بدلاً من نص الكتاب كلما أراد المرء الإشارة إلى الكتاب. هذا مفيد للغاية للحديث عن الكتب، لكنه ليس مفيدًا جدًا لوصف محتوى المعلومات لكتاب فردي، أو اللغة بشكل عام: ليس من الممكن إعادة بناء الكتاب من معرفه دون معرفة توزيع الاحتمالات، أي النص الكامل لجميع الكتب. الفكرة الأساسية هنا هي أنه لابد من النظر في تعقيد النموذج الاحتمالي. وتعقيد كولموغوروف هو تعميم نظري لهذه الفكرة يسمح بالنظر في محتوى المعلومات في أي تسلسل مستقل عن أي نموذج احتمالي معين؛ فهو ينظر في أقصر برنامج يمكن استخدامه في حاسوب عالمي ينتج التسلسل. والرمز الذي يحقق معدل الإنتروبيا في أي تسلسل لنموذج معين، بالإضافة إلى كتاب الرموز (أي النموذج الاحتمالي)، هو أحد هذه البرامج، ولكنه قد لا يكون الأقصر.

متتالية فيبوناتشي هي 1، 1، 2، 3، 5، 8، 13، .... عند التعامل مع المتتالية كرسالة وكل رقم كرمز، يوجد عدد من الرموز تقريبًا مثل عدد الأحرف في الرسالة، مما يعطي إنتروبيا تقارب log ₂ ( n ) . أول 128 رمزًا من متتالية فيبوناتشي لها إنتروبيا تقارب 7 بتات/رمز، ولكن يمكن التعبير عن المتتالية باستخدام الصيغة [ F( n ) = F( n −1) + F( n −2) لـ n = 3، 4، 5، ... ، F(1) =1 ، F(2) = 1 ] وهذه الصيغة لها إنتروبيا أقل بكثير وتنطبق على أي طول لمتتالية فيبوناتشي.

في تحليل الشفرات ، غالبًا ما تُستخدم الإنتروبيا كقياس تقريبي لعدم القدرة على التنبؤ بمفتاح تشفيري، على الرغم من أن عدم اليقين الحقيقي غير قابل للقياس. على سبيل المثال، يحتوي المفتاح الذي يبلغ طوله 128 بتًا والذي يتم إنشاؤه بشكل موحد وعشوائي على 128 بتًا من الإنتروبيا. كما يتطلب الأمر (في المتوسط) تخمينات لكسره بالقوة الغاشمة. تفشل الإنتروبيا في التقاط عدد التخمينات المطلوبة إذا لم يتم اختيار المفاتيح المحتملة بشكل موحد. ^{[24] [25]} بدلاً من ذلك، يمكن استخدام مقياس يسمى التخمين لقياس الجهد المطلوب لهجوم القوة الغاشمة. ^[26]${\displaystyle 2^{127}}$

قد تنشأ مشاكل أخرى من التوزيعات غير المنتظمة المستخدمة في التشفير. على سبيل المثال، لوحة ثنائية مكونة من 1,000,000 رقم تستخدم مرة واحدة فقط . إذا كانت اللوحة تحتوي على 1,000,000 بت من الإنتروبيا، فهي مثالية. إذا كانت اللوحة تحتوي على 999,999 بت من الإنتروبيا، موزعة بالتساوي (كل بت فردي من اللوحة يحتوي على 0.999999 بت من الإنتروبيا)، فقد توفر أمانًا جيدًا. ولكن إذا كانت اللوحة تحتوي على 999,999 بت من الإنتروبيا، حيث يكون البت الأول ثابتًا والبتات الـ 999,999 المتبقية عشوائية تمامًا، فلن يتم تشفير البت الأول من النص المشفر على الإطلاق.

تعتمد إحدى الطرق الشائعة لتحديد إنتروبيا النص على نموذج ماركوف للنص. بالنسبة لمصدر من الدرجة 0 (يتم تحديد كل حرف بشكل مستقل عن الأحرف الأخيرة)، تكون إنتروبيا الثنائية:

${\displaystyle \mathrm {H} ({\mathcal {S}})=-\sum p_{i}\log p_{i},}$

حيث p _i هو احتمال i . بالنسبة لمصدر ماركوف من الدرجة الأولى (حيث يعتمد احتمال اختيار حرف فقط على الحرف السابق مباشرة)، فإن معدل الإنتروبيا هو:

${\displaystyle \mathrm {H} ({\mathcal {S}})=-\sum _{i}p_{i}\sum _{j}\ p_{i}(j)\log p_{i}(j),}$ ^{[ بحاجة لمصدر ]}

حيث i هي حالة (بعض الأحرف السابقة) و هي احتمالية j مع العلم أن i هي الحرف السابق. ${\displaystyle p_{i}(j)}$

بالنسبة لمصدر ماركوف من الدرجة الثانية، معدل الإنتروبيا هو

${\displaystyle \mathrm {H} ({\mathcal {S}})=-\sum _{i}p_{i}\sum _{j}p_{i}(j)\sum _{k}p_{i,j}(k)\ \log \ p_{i,j}(k).}$

ستكون مجموعة المصدر ذات التوزيع غير المنتظم أقل إنتروبيا من نفس المجموعة ذات التوزيع المنتظم (أي "الأبجدية المحسنة"). يمكن التعبير عن هذا النقص في الإنتروبيا كنسبة تسمى الكفاءة: ^[27]${\displaystyle {\mathcal {X}}}$

${\displaystyle \eta (X)={\frac {H}{H_{max}}}=-\sum _{i=1}^{n}{\frac {p(x_{i})\log _{b}(p(x_{i}))}{\log _{b}(n)}}.}$

وبتطبيق الخصائص الأساسية للوغاريتم، يمكن أيضًا التعبير عن هذه الكمية على النحو التالي:

${\displaystyle \eta (X)=-\sum _{i=1}^{n}{\frac {p(x_{i})\log _{b}(p(x_{i}))}{\log _{b}(n)}}=\sum _{i=1}^{n}{\frac {\log _{b}(p(x_{i})^{-p(x_{i})})}{\log _{b}(n)}}=\sum _{i=1}^{n}\log _{n}(p(x_{i})^{-p(x_{i})})=\log _{n}(\prod _{i=1}^{n}p(x_{i})^{-p(x_{i})}).}$

إن الكفاءة مفيدة في تحديد الاستخدام الفعال لقناة الاتصال . ويشار إلى هذه الصيغة أيضًا باسم الإنتروبيا الطبيعية، حيث يتم تقسيم الإنتروبيا على الحد الأقصى للإنتروبيا . وعلاوة على ذلك، فإن الكفاءة غير مبالية باختيار القاعدة (الموجبة) b ، كما يتضح من عدم الحساسية داخل اللوغاريتم النهائي أعلاه. ${\displaystyle {\log _{b}(n)}}$

تقتصر إنتروبيا شانون على المتغيرات العشوائية التي تأخذ قيمًا منفصلة. يتم تعريف الصيغة المقابلة لمتغير عشوائي مستمر مع دالة كثافة الاحتمال f ( x ) مع دعم محدود أو غير محدود على الخط الحقيقي عن طريق القياس، باستخدام الشكل أعلاه للإنتروبيا كتوقع: ^{[10] : 224}${\displaystyle \mathbb {X} }$

${\displaystyle \mathrm {H} (X)=\mathbb {E} [-\log f(X)]=-\int _{\mathbb {X} }f(x)\log f(x)\,\mathrm {d} x.}$

هذه هي الإنتروبيا التفاضلية (أو الإنتروبيا المستمرة). إن مقدمة الإنتروبيا المستمرة h [ f ] هي تعبير الدالة Η في نظرية H لبولتزمان .

على الرغم من أن التشابه بين الدالتين يوحي، إلا أنه يجب طرح السؤال التالي: هل الإنتروبيا التفاضلية هي امتداد صالح للإنتروبيا المنفصلة لشانون؟ تفتقر الإنتروبيا التفاضلية إلى عدد من الخصائص التي تمتلكها إنتروبيا شانون المنفصلة - بل يمكن أن تكون سلبية - وقد تم اقتراح تصحيحات، ولا سيما الحد من كثافة النقاط المنفصلة .

للإجابة على هذا السؤال، يجب إنشاء اتصال بين الوظيفتين:

من أجل الحصول على مقياس محدود بشكل عام حيث يصبح حجم الصندوق صفرًا. في الحالة المنفصلة، ​​يكون حجم الصندوق هو العرض (الضمني) لكل من الصناديق (المحدودة أو اللانهائية) التي يتم الإشارة إلى احتمالاتها بواسطة p _n . نظرًا لتعميم المجال المستمر، يجب توضيح العرض.

للقيام بذلك، ابدأ بدالة مستمرة f مقسمة إلى صناديق بحجم . وفقًا لنظرية القيمة المتوسطة، توجد قيمة x _i في كل صندوق بحيث يمكن تقريب تكامل الدالة f (بالمعنى الريماني) حيث يكون هذا الحد و"حجم الصندوق الذي يصل إلى الصفر" متكافئين. ${\displaystyle \Delta }$$${\displaystyle f(x_{i})\Delta =\int _{i\Delta }^{(i+1)\Delta }f(x)\,dx}$$$${\displaystyle \int _{-\infty }^{\infty }f(x)\,dx=\lim _{\Delta \to 0}\sum _{i=-\infty }^{\infty }f(x_{i})\Delta ,}$$

سنقوم بالإشارة إلى اللوغاريتم وتوسيعه، لدينا $${\displaystyle \mathrm {H} ^{\Delta }:=-\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log \left(f(x_{i})\Delta \right)}$$$${\displaystyle \mathrm {H} ^{\Delta }=-\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log(f(x_{i}))-\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log(\Delta ).}$$

بما أن Δ → 0 ، لدينا

${\displaystyle {\begin{aligned}\sum _{i=-\infty }^{\infty }f(x_{i})\Delta &\to \int _{-\infty }^{\infty }f(x)\,dx=1\\\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log(f(x_{i}))&\to \int _{-\infty }^{\infty }f(x)\log f(x)\,dx.\end{aligned}}}$

ملحوظة؛ log(Δ) → −∞ حيث Δ → 0 ، يتطلب تعريفًا خاصًا للإنتروبيا التفاضلية أو المستمرة:

${\displaystyle h[f]=\lim _{\Delta \to 0}\left(\mathrm {H} ^{\Delta }+\log \Delta \right)=-\int _{-\infty }^{\infty }f(x)\log f(x)\,dx,}$

وهو ما يشار إليه، كما ذكرنا سابقًا، باسم الإنتروبيا التفاضلية. وهذا يعني أن الإنتروبيا التفاضلية ليست حدًا لإنتروبي شانون عندما تكون n → ∞ . بل إنها تختلف عن حد إنتروبيا شانون بإزاحة لا نهائية (انظر أيضًا المقالة حول بُعد المعلومات ).

يتبين نتيجة لذلك أنه على عكس إنتروبيا شانون، فإن إنتروبيا التفاضلية ليست بشكل عام مقياسًا جيدًا لعدم اليقين أو المعلومات. على سبيل المثال، يمكن أن تكون إنتروبيا التفاضلية سالبة؛ كما أنها ليست ثابتة في ظل تحويلات الإحداثيات المستمرة. يمكن توضيح هذه المشكلة من خلال تغيير الوحدات عندما يكون x متغيرًا ذو أبعاد. عندئذٍ سيكون لـ f ( x ) وحدات 1/ x . يجب أن تكون وسيطة اللوغاريتم بلا أبعاد، وإلا فهي غير مناسبة، بحيث تكون إنتروبيا التفاضلية كما هو موضح أعلاه غير مناسبة. إذا كانت Δ قيمة "قياسية" لـ x (أي "حجم الصندوق") وبالتالي لها نفس الوحدات، فيمكن كتابة إنتروبيا تفاضلية معدلة في شكل مناسب على النحو التالي:

$${\displaystyle \mathrm {H} =\int _{-\infty }^{\infty }f(x)\log(f(x)\,\Delta )\,dx,}$$

وستكون النتيجة هي نفسها لأي اختيار للوحدات لـ x . في الواقع، فإن حد الإنتروبيا المنفصلة كما سيشمل أيضًا حدًا لـ ، والذي سيكون بشكل عام لا نهائيًا. وهذا متوقع: عادةً ما يكون للمتغيرات المستمرة إنتروبيا لا نهائية عند تقسيمها. إن الكثافة الحدية للنقط المنفصلة هي في الواقع مقياس لمدى سهولة وصف التوزيع مقارنة بالتوزيع الموحد على مخطط التكميم الخاص به. ${\displaystyle N\rightarrow \infty }$${\displaystyle \log(N)}$

مقياس آخر مفيد للإنتروبيا يعمل بشكل جيد بنفس القدر في الحالة المنفصلة والمتصلة هو الإنتروبيا النسبية للتوزيع. يتم تعريفه على أنه تباعد كولباك-ليبلر من التوزيع إلى مقياس مرجعي m على النحو التالي. افترض أن توزيع الاحتمالات p متصل بشكل مطلق بالنسبة إلى مقياس m ، أي أنه من النموذج p ( dx ) = f ( x ) m ( dx ) لبعض الدوال غير السلبية القابلة للتكامل m f مع m -integral 1، عندئذٍ يمكن تعريف الإنتروبيا النسبية على أنها

${\displaystyle D_{\mathrm {KL} }(p\|m)=\int \log(f(x))p(dx)=\int f(x)\log(f(x))m(dx).}$

في هذا النموذج، تعمم الإنتروبيا النسبية (حتى التغيير في الإشارة) كلاً من الإنتروبيا المنفصلة، ​​حيث يكون المقياس m هو المقياس العدّي ، والإنتروبيا التفاضلية، حيث يكون المقياس m هو مقياس ليبيج . إذا كان المقياس m هو نفسه توزيع احتمالي، فإن الإنتروبيا النسبية غير سالبة، وتساوي صفرًا إذا كان p = m كمقياسات. يتم تعريفها لأي مساحة قياس، وبالتالي فهي مستقلة عن الإحداثيات وثابتة تحت إعادة معلمات الإحداثيات إذا أخذنا في الاعتبار بشكل صحيح تحويل المقياس m . تعتمد الإنتروبيا النسبية، و(ضمنيًا) الإنتروبيا والإنتروبيا التفاضلية، على المقياس "المرجعي" m .

استخدم تيرينس تاو الإنتروبيا لإنشاء اتصال مفيد في محاولة حل مشكلة التناقض في إردوس . ^{[28] [29]}

بديهيًا كانت الفكرة وراء الإثبات هي أنه إذا كانت هناك معلومات منخفضة من حيث إنتروبيا شانون بين المتغيرات العشوائية المتتالية (هنا يتم تعريف المتغير العشوائي باستخدام دالة ليوفيل (وهي دالة رياضية مفيدة لدراسة توزيع الأعداد الأولية) X _H = . وفي فترة [n، n + H] يمكن أن يصبح المجموع على تلك الفترة كبيرًا بشكل تعسفي. على سبيل المثال، فإن تسلسل +1 (الذي يمثل قيم X _H' يمكن أن يستغرق) له إنتروبيا منخفضة بشكل تافه وسيصبح مجموعها كبيرًا. لكن البصيرة الرئيسية كانت إظهار انخفاض في الإنتروبيا بكميات غير قابلة للإهمال أثناء توسيع H مما يؤدي بدوره إلى نمو غير محدود لكائن رياضي على هذا المتغير العشوائي يعادل إظهار النمو غير المحدود وفقًا لمشكلة التباين إردوس . ${\displaystyle \lambda (n+H)}$

الدليل معقد للغاية وقد جمع بين الإنجازات ليس فقط في الاستخدام الجديد لـ Shannon Entropy، بل استخدم أيضًا دالة Liouville جنبًا إلى جنب مع متوسطات الدوال المضاعفة المعدلة المؤرشفة في 28 أكتوبر 2023 على موقع Wayback Machine في فترات زمنية قصيرة. كما أدى إثباته إلى كسر "حاجز التكافؤ" المؤرشفة في 7 أغسطس 2023 على موقع Wayback Machine لهذه المشكلة المحددة.

في حين أن استخدام شانون إنتروبيا في الإثبات يعد أمرًا جديدًا، فمن المرجح أن يفتح الباب أمام أبحاث جديدة في هذا الاتجاه.

أصبحت الإنتروبيا كمية مفيدة في التركيبات .

مثال بسيط على ذلك هو دليل بديل لمتباينة لوميس-ويتني : لكل مجموعة فرعية A ⊆ Z ^d ، لدينا

${\displaystyle |A|^{d-1}\leq \prod _{i=1}^{d}|P_{i}(A)|}$

حيث P _i هو الإسقاط المتعامد في الإحداثي i :

${\displaystyle P_{i}(A)=\{(x_{1},\ldots ,x_{i-1},x_{i+1},\ldots ,x_{d}):(x_{1},\ldots ,x_{d})\in A\}.}$

يأتي الإثبات كنتيجة بسيطة لمتباينة شيرر : إذا كانت X ₁ ، ...، X _d متغيرات عشوائية و S ₁ ، ...، S _n مجموعات فرعية من {1، ...، d } بحيث يقع كل عدد صحيح بين 1 و d في r بالضبط من هذه المجموعات الفرعية، إذن

${\displaystyle \mathrm {H} [(X_{1},\ldots ,X_{d})]\leq {\frac {1}{r}}\sum _{i=1}^{n}\mathrm {H} [(X_{j})_{j\in S_{i}}]}$

أين هو حاصل الضرب الديكارتي للمتغيرات العشوائية X _j مع الفهارس j في S _i (لذا فإن أبعاد هذا المتجه تساوي حجم S _i ). ${\displaystyle (X_{j})_{j\in S_{i}}}$

دعونا نرسم كيف يتبع لوميس-ويتني من هذا: في الواقع، دع X يكون متغيرًا عشوائيًا موزعًا بشكل موحد بقيم في A و بحيث تحدث كل نقطة في A باحتمالية متساوية. ثم (بموجب الخصائص الإضافية للإنتروبيا المذكورة أعلاه) Η( X ) = log| A | ، حيث | A | يدل على عدد A . دع S _i = {1, 2, ..., i −1, i +1, ..., d }. نطاق موجود في P _i ( A ) ومن ثم . استخدم هذا الآن لتحديد الجانب الأيمن من متباينة شيرر وأسس الجانبين المعاكسين للمتباينة الناتجة التي حصلت عليها. ${\displaystyle (X_{j})_{j\in S_{i}}}$${\displaystyle \mathrm {H} [(X_{j})_{j\in S_{i}}]\leq \log |P_{i}(A)|}$

بالنسبة للأعداد الصحيحة 0 < k < n، دع q = k / n . إذن

${\displaystyle {\frac {2^{n\mathrm {H} (q)}}{n+1}}\leq {\tbinom {n}{k}}\leq 2^{n\mathrm {H} (q)},}$

أين

${\displaystyle \mathrm {H} (q)=-q\log _{2}(q)-(1-q)\log _{2}(1-q).}$^{[30] : 43}

دليل (رسم تخطيطي)

لاحظ أن هذا هو أحد مصطلحات التعبير ${\displaystyle {\tbinom {n}{k}}q^{qn}(1-q)^{n-nq}}$ ${\displaystyle \sum _{i=0}^{n}{\tbinom {n}{i}}q^{i}(1-q)^{n-i}=(q+(1-q))^{n}=1.}$ إن إعادة الترتيب تعطي الحد الأعلى. أما بالنسبة للحد الأدنى، فيجب أولاً أن نبين باستخدام بعض الجبر أنه أكبر حد في المجموع. ولكن بعد ذلك، ${\displaystyle {\binom {n}{k}}q^{qn}(1-q)^{n-nq}\geq {\frac {1}{n+1}}}$ نظرًا لوجود n + 1 حدود في المجموع. إعادة الترتيب تعطي الحد الأدنى.

التفسير الجيد لذلك هو أن عدد السلاسل الثنائية بطول n مع k من 1 بالضبط هو تقريبًا . ^[31]${\displaystyle 2^{n\mathrm {H} (k/n)}}$

تنشأ تقنيات التعلم الآلي إلى حد كبير من الإحصاءات ونظرية المعلومات أيضًا. بشكل عام، تعتبر الإنتروبيا مقياسًا لعدم اليقين والهدف من التعلم الآلي هو تقليل عدم اليقين.

تستخدم خوارزميات تعلم شجرة القرار الإنتروبيا النسبية لتحديد قواعد القرار التي تحكم البيانات عند كل عقدة. ^[32] إن مكسب المعلومات في أشجار القرار ، والذي يساوي الفرق بين إنتروبيا والإنتروبيا الشرطية لـ given ، يقيس المعلومات المتوقعة، أو الانخفاض في الإنتروبيا، من معرفة قيمة السمة بشكل إضافي . يتم استخدام مكسب المعلومات لتحديد السمات التي توفر أكبر قدر من المعلومات في مجموعة البيانات ويجب استخدامها لتقسيم عقد الشجرة على النحو الأمثل. ${\displaystyle IG(Y,X)}$${\displaystyle Y}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle X}$

غالبًا ما تطبق نماذج الاستدلال البايزي مبدأ الحد الأقصى للإنتروبيا للحصول على توزيعات احتمالية مسبقة . ^[33] والفكرة هي أن التوزيع الذي يمثل الحالة الحالية للمعرفة لنظام ما هو التوزيع الذي يتمتع بأكبر قدر من الإنتروبيا، وبالتالي فهو مناسب ليكون التوزيع المسبق.

غالبًا ما يستخدم التصنيف في التعلم الآلي الذي يتم إجراؤه بواسطة الانحدار اللوجستي أو الشبكات العصبية الاصطناعية دالة خسارة قياسية، تسمى خسارة الإنتروبيا المتقاطعة ، والتي تقلل من متوسط ​​الإنتروبيا المتقاطعة بين الحقيقة الأساسية والتوزيعات المتوقعة. ^[34] بشكل عام، الإنتروبيا المتقاطعة هي مقياس للاختلافات بين مجموعتي بيانات مشابه لتباعد KL (المعروف أيضًا باسم الإنتروبيا النسبية).

تتضمن هذه المقالة مواد من Entropy Shannon على PlanetMath ، والتي تخضع لرخصة المشاع الإبداعي المنسوبة للمؤلف/المرخصة بالمثل .

• الغلاف، TM ، توماس، JA (2006)، عناصر نظرية المعلومات – الطبعة الثانية ، Wiley-Interscience، ISBN 978-0-471-24195-9 
• ماكاي، دي جي سي (2003)، نظرية المعلومات والاستدلال وخوارزميات التعلم ، مطبعة جامعة كامبريدج، رقم ISBN 978-0-521-64298-9 
• أرندت، سي. (2004)، مقاييس المعلومات: المعلومات ووصفها في العلوم والهندسة ، سبرينغر، ISBN 978-3-540-40855-0 
• جراي، ر.م. (2011)، الإنتروبيا ونظرية المعلومات ، سبرينغر.
• مارتن، ناثانيال إف جي؛ إنجلترا، جيمس دبليو. (2011). النظرية الرياضية للإنتروبيا. مطبعة جامعة كامبريدج. رقم ISBN 978-0-521-17738-2.
• شانون، سي إي ، ويفر، دبليو. (1949) النظرية الرياضية للاتصال ، مطبعة جامعة إلينوي. رقم ISBN 0-252-72548-4 
• Stone, JV (2014)، الفصل الأول من نظرية المعلومات: مقدمة تعليمية مؤرشفة في 3 يونيو 2016 على موقع واي باك مشين ، جامعة شيفيلد، إنجلترا. ISBN 978-0956372857 . 

• "الإنتروبيا"، موسوعة الرياضيات ، EMS Press ، 2001 [1994]
• "الإنتروبيا" محفوظ في 4 يونيو 2016 على موقع Wayback Machine في Rosetta Code —مستودع لتنفيذات إنتروبيا شانون في لغات برمجة مختلفة.
• تم أرشفة Entropy في 31 مايو 2016 على موقع Wayback Machine وهي مجلة متعددة التخصصات تتناول جميع جوانب مفهوم الإنتروبيا. الوصول مفتوح.