دالة الإنتروبيا الثنائية

في نظرية المعلومات ، دالة الإنتروبيا الثنائية ، ويرمز لها بـ${\displaystyle \operatorname {H} (p)}$أو${\displaystyle \operatorname {H} _{\text{b}}(p)}$، تُعرَّف بأنها إنتروبيا عملية برنولي ( متغير ثنائي مستقل ومتطابق التوزيع )${\displaystyle X}$باحتمال​${\displaystyle p}$إحدى قيمتين، ويتم تحديدها بالصيغة التالية:

${\displaystyle \operatorname {H} (X)=-p\log p-(1-p)\log(1-p).}$

يتوافق أساس اللوغاريتم مع اختيار وحدات المعلومات ؛ الأساس e ( اللوغاريتم الطبيعي ) يتوافق مع nats وهو مناسب رياضياً، بينما الأساس 2 ( اللوغاريتم الثنائي ) يتوافق مع shannons وهو اصطلاحي (كما هو موضح في الرسم البياني)؛ بشكل صريح:

${\displaystyle \operatorname {H} (X)=-p\log _{2}p-(1-p)\log _{2}(1-p).}$

لاحظ أن القيمتين 0 و1 تُعطيان بواسطة النهاية${\displaystyle \textstyle 0\log 0:=\lim _{x\to 0^{+}}x\log x=0}$(بحسب قاعدة لوبيتال )؛ وأن "ثنائي" يشير إلى قيمتين محتملتين للمتغير، وليس وحدات المعلومات.

متى${\displaystyle p=1/2}$تصل دالة الإنتروبيا الثنائية إلى قيمتها القصوى وهي 1 شانون (وحدة معلومات ثنائية واحدة)؛ وهذا هو الحال في رمي عملة معدنية غير متحيزة .${\displaystyle p=0}$أو${\displaystyle p=1}$، الإنتروبيا الثنائية تساوي 0 (بغض النظر عن الوحدة)، وهو ما يتوافق مع عدم وجود معلومات، لأنه لا يوجد عدم يقين في المتغير.

الانتروبيا الثنائية${\displaystyle \operatorname {H} _ {\mathrm {b} }(p)}$هي حالة خاصة من${\displaystyle \mathrm {H} (X)}$دالة الإنتروبيا .${\displaystyle \operatorname {H} _ {\mathrm {b} }(p)}$يتم تمييزها عن دالة الإنتروبيا العامة${\displaystyle \mathrm {H} (X)}$حيث يأخذ الأول عددًا حقيقيًا واحدًا كمعامل، بينما يأخذ الثاني توزيعًا أو متغيرًا عشوائيًا كمعامل. وبالتالي، فإن الإنتروبيا الثنائية (لـ p ) هي إنتروبيا التوزيع المحدد.${\displaystyle X\sim \operatorname {Ber} (p)}$، لذا${\displaystyle \operatorname {H} _{\mathrm {b} }(p)=\mathrm {H} {\bigl (}\operatorname {Ber} (p){\bigr )}}$.

كتابة احتمال أن تكون كل من القيمتين p و q ، لذلك${\displaystyle p+q=1}$و${\displaystyle q=1-p}$وهذا يتوافق مع

${\displaystyle \operatorname {H} (X)=-p\log p-(1-p)\log(1-p)=-p\log pq\log q=-\sum _{x\in X}\operatorname {Pr} (X=x)\cdot \log \operatorname {Pr} (X=x)=\mathrm {H} {\bigl (}\operatorname {Ber} (p){\bigr )}.}$

أحيانًا تُكتب دالة الإنتروبيا الثنائية أيضًا على النحو التالي:${\displaystyle \operatorname {H} _{2}(p)}$ومع ذلك، فهي تختلف عن إنتروبيا ريني ، والتي يُشار إليها أيضًا باسم، ولا ينبغي الخلط بينهما.${\displaystyle \mathrm {H} _{2}(X)}$.

في نظرية المعلومات، يُعتبر الإنتروبيا مقياسًا لعدم اليقين في الرسالة. بعبارة أخرى، لنفترض${\displaystyle p=0}$عند هذا الاحتمال، يكون الحدث مؤكدًا أنه لن يحدث أبدًا، وبالتالي لا يوجد أي شك على الإطلاق، مما يؤدي إلى إنتروبيا تساوي صفرًا.${\displaystyle p=1}$والنتيجة مؤكدة مرة أخرى، لذا فإن الإنتروبيا تساوي صفرًا هنا أيضًا. عندما${\displaystyle p=1/2}$في هذه الحالة، يكون عدم اليقين في أقصى حد له؛ فإذا راهن المرء بشكل عادل على النتيجة، فلن تكون هناك فائدة من المعرفة المسبقة بالاحتمالات. في هذه الحالة، تكون الإنتروبيا في أقصى حد لها عند قيمة بت واحد. تقع القيم المتوسطة بين هاتين الحالتين؛ على سبيل المثال، إذا${\displaystyle p=1/4}$لا يزال هناك قدر من عدم اليقين بشأن النتيجة، ولكن لا يزال بإمكان المرء التنبؤ بالنتيجة بشكل صحيح في أغلب الأحيان، لذا فإن مقياس عدم اليقين، أو الإنتروبيا، أقل من بت واحد كامل.

• الإنتروبيا المترية
• نظرية المعلومات
• إنتروبيا المعلومات
• كميات المعلومات

• ماكاي، ديفيد جيه سي. نظرية المعلومات، والاستدلال، وخوارزميات التعلم. كامبريدج: مطبعة جامعة كامبريدج، 2003. ISBN 0-521-64298-1