شانون (وحدة)

الشانون (رمزه: Sh) وحدة معلومات سُميت نسبةً إلى كلود شانون ، مؤسس نظرية المعلومات . يُعرّف معيار IEC 80000-13 الشانون بأنه محتوى المعلومات المرتبط بحدث ما عندما يكون احتمال وقوعه 1/2 . يُفهم الشانون على هذا النحو في مجال نظرية المعلومات ، وهو يختلف مفهوميًا عن البت ، وهو مصطلح يُستخدم في معالجة البيانات وتخزينها للدلالة على نسخة واحدة من إشارة ثنائية . يُوصف تسلسل من n رمزًا ثنائيًا (كما هو موجود في ذاكرة الحاسوب أو في عملية نقل بيانات ثنائية) بأنه يتكون من ^{n بت} ، ولكن محتوى المعلومات لهذه الرموز n قد يكون أكبر أو أقل من n شانون ^{اعتمادًا} على الاحتمال المسبق لتسلسل الرموز الفعلي.

يُستخدم الشانون أيضًا كوحدة لقياس إنتروبيا المعلومات لحدث ما، والتي تُعرَّف بأنها القيمة المتوقعة لمحتوى المعلومات الخاص بهذا الحدث (أي المتوسط ​​المرجح احتماليًا لمحتوى المعلومات لجميع الأحداث المحتملة). وبالنظر إلى عدد من النتائج المحتملة، فإن للإنتروبيا حدًا أعلى، على عكس محتوى المعلومات، ويُتحقق هذا الحد عندما تكون النتائج المحتملة متساوية الاحتمال. الحد الأقصى لإنتروبيا n بت هو n  Sh. يُستخدم الشانون أيضًا لقياس سعة القناة ، والتي تُمثل عمومًا الحد الأقصى للقيمة المتوقعة لمحتوى المعلومات المُشفَّر عبر قناة يمكن نقلها باحتمالية خطأ ضئيلة، وعادةً ما تكون على شكل معدل معلومات.

مع ذلك، يُستخدم مصطلح " بتات المعلومات" أو ببساطة "بتات" بشكل أكثر شيوعًا، حتى في مجالات نظرية المعلومات والاتصالات ، بدلًا من مصطلح "شانون" ؛ لذا فإن استخدام "بتات" فقط قد يكون مُبهمًا. يُشير استخدام وحدة "شانون" صراحةً إلى كمية محتوى المعلومات، أو إنتروبيا المعلومات، أو سعة القناة، ولا يقتصر على البيانات الثنائية، ^{[ 1 ]} بينما يُمكن أن تُشير "بتات" أيضًا إلى عدد الرموز الثنائية المُستخدمة، كما هو الحال في مجالات مثل معالجة البيانات.

يرتبط مؤشر شانون من خلال ثوابت التناسب بوحدتين أخريين من المعلومات: ^{[ 2 ]}

وحدة هارتلي ، وهي وحدة نادرة الاستخدام، سُميت نسبةً إلى رالف هارتلي ، مهندس الإلكترونيات المهتم بسعة قنوات الاتصال. ورغم محدودية نطاقها، إلا أن أعماله المبكرة، التي سبقت أعمال شانون، جعلته يُعتبر رائدًا في نظرية المعلومات. وكما يصف شانون أقصى سعة معلومات ممكنة لرمز ثنائي، يصف هارتلي المعلومات التي يمكن أن يحتويها رمز ذو عشرة أرقام، أي قيمة رقمية في النطاق من 0 إلى 9 عندما يكون الاحتمال المسبق لكل قيمة هو 1/10 . ويُعطى عامل التحويل المذكور أعلاه بالصيغة _log₁₀ (2).

في التعبيرات الرياضية، تُعدّ وحدة "نات" وحدة معلومات أكثر طبيعية، لكن  "نات" واحدة لا تُشير إلى حالة تكون فيها جميع الاحتمالات متساوية، على عكس "شانون" و"هارتلي". في كل حالة، تتضمن صيغ قياس سعة المعلومات أو الإنتروبيا أخذ لوغاريتم تعبير يتضمن احتمالات. إذا استُخدمت اللوغاريتمات ذات الأساس 2، يُعبّر عن النتيجة بوحدة "شانون"، وإذا استُخدمت اللوغاريتمات ذات الأساس 10 ( اللوغاريتمات العشرية )، يُعبّر عن النتيجة بوحدة "هارتلي"، وإذا استُخدمت اللوغاريتمات الطبيعية (الأساس e )، يُعبّر عن النتيجة بوحدة "نات". على سبيل المثال، يتم إعطاء سعة المعلومات لتسلسل مكون من 16 بت (يتم تحقيقها عندما تكون جميع التسلسلات الممكنة البالغ عددها 65536 متساوية الاحتمالية) بواسطة log(65536)، وبالتالي log ₁₀ (65536) Hart ≈ ​​4.82 Hart ، أو log _e (65536) nat ≈ 11.09 nat ، أو log ₂ (65536) Sh = 16 Sh .

في نظرية المعلومات والمجالات المشتقة منها، مثل نظرية الترميز ، لا يمكن قياس "المعلومات" في رسالة واحدة (سلسلة من الرموز) بمعزل عن سياقها، بل يُستعان بنموذج القناة (مثل معدل خطأ البت ) أو بالإحصائيات الأساسية لمصدر المعلومات. وبالتالي، توجد مقاييس متنوعة للمعلومات أو ما يرتبط بها ، ويمكن استخدام مقياس شانون كوحدة قياس في جميعها.

على سبيل المثال، في المثال السابق، يمكن القول إن قناة ذات 16 بت تتمتع بسعة 16  Sh، ولكن عند توصيلها بمصدر معلومات معين يرسل رسالة واحدة فقط من بين 8 رسائل محتملة، فإن إنتروبيا مخرجاته لا تتجاوز 3  Sh. وإذا تم إبلاغنا مسبقًا، عبر قناة جانبية، بمجموعة الرسائل الأربع المحتملة التي تنتمي إليها الرسالة، فيمكننا حساب المعلومات المتبادلة للرسالة الجديدة (التي لها 8 حالات محتملة) بحيث لا تتجاوز 2  Sh. على الرغم من وجود احتمالات لا حصر لها لعدد حقيقي مختار بين 0 و1، إلا أنه يمكن استخدام ما يُسمى بالإنتروبيا التفاضلية لتحديد محتوى المعلومات في إشارة تناظرية، كما هو الحال في تحسين نسبة الإشارة إلى الضوضاء أو موثوقية اختبار الفرضيات .