نظرية المعلومات

استنادًا إلى دالة الكتلة الاحتمالية للمصدر، تُعرَّف إنتروبيا شانون H ، بوحدات بت لكل رمز، بأنها القيمة المتوقعة لمحتوى المعلومات في الرموز. ^{[ 36 ] [ 37 ]}

كمية المعلومات التي ينقلها رمز المصدر الفردي${\displaystyle x_{i}}$باحتمال${\displaystyle p_{i}}$يُعرف ذلك باسم معلوماتها الذاتية أو مفاجأتها ،${\displaystyle I(p_{i})}$تُعرَّف هذه الكمية على النحو التالي: ^{[ 38 ] [ 39 ]}

${\displaystyle I(p_{i})=-\log _{2}(p_{i})}$

الرمز الأقل احتمالاً يحمل عنصر مفاجأة أكبر، مما يعني أن ظهوره يوفر معلومات أكثر. ^{[ 38 ]} الإنتروبيا${\displaystyle H}$هو المتوسط ​​المرجح لمفاجأة جميع الرموز الممكنة من التوزيع الاحتمالي للمصدر: ^{[ 40 ] [ 41 ]}

${\displaystyle H(X)\ =\ \mathbb {E} _{X}[I(x)]\ =\ \sum _{i}p_{i}I(p_{i})\ =\ -\sum _{i}p_{i}\log _{2}(p_{i})}$

بشكل بديهي، الإنتروبيا${\displaystyle H(X)}$يمثل المتغير العشوائي المنفصل X مقياسًا لمقدار عدم اليقين المرتبط بقيمة${\displaystyle X}$عندما يكون التوزيع فقط هو المعروف. ^{[ 36 ]} يشير ارتفاع الإنتروبيا إلى أن النتائج موزعة بشكل أكثر تساوياً، مما يجعل التنبؤ بالنتيجة أكثر صعوبة. ^{[ 42 ]}

على سبيل المثال، إذا تم إرسال 1000 بت (أصفار وواحدات)، وكانت قيمة كل بت معروفة للمستقبل (لها قيمة محددة مؤكدة) قبل الإرسال، فلن يتم إرسال أي معلومات. أما إذا كان احتمال أن تكون قيمة كل بت صفرًا أو واحدًا متساويًا ومستقلًا، فسيتم إرسال 1000 شانون من المعلومات (والتي تُسمى غالبًا بتات). ^{[ 43 ]}

إن الإنتروبيا المشتركة لمتغيرين عشوائيين منفصلين X و Y هي ببساطة إنتروبيا اقترانهما: ( X , Y ) . وهذا يعني أنه إذا كان X و Y مستقلين ، فإن إنتروبياهما المشتركة هي مجموع إنتروبيا كل منهما على حدة .

على سبيل المثال، إذا كان ( X ، Y ) يمثل موضع قطعة الشطرنج - X الصف و Y العمود، فإن الإنتروبيا المشتركة لصف القطعة وعمود القطعة ستكون إنتروبيا موضع القطعة.

${\displaystyle H(X,Y)=\mathbb {E} _{X,Y[-\log p(x,y)]=-\sum _{x,y}p(x,y)\log p(x,y)\,}$

على الرغم من تشابه الرموز، لا ينبغي الخلط بين الإنتروبيا المشتركة والإنتروبيا المتقاطعة .

الإنتروبيا المشتركة لـ${\displaystyle n}$المتغيرات العشوائية المنفصلة${\displaystyle X^{n}\triangleq (X_{1},X_{2},\ldots ,X_{n})}$يكون

${\displaystyle H(X^{n})=H(X_{1},X_{2},\ldots ,X_{n})=\mathbb {E} \left[-\log P_{X_{1},\ldots ,X_{n}}(X_{1},\ldots ,X_{n})\right]}$

ويمكن تمثيل ذلك أيضاً كمجموع لدالة الكتلة الاحتمالية المشتركة الخاصة بهما:

${\displaystyle H(X^{n})=-\sum _{x_{1}}\cdots \sum _{x_{n}}P_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})\log P_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})}$.

وبالتالي، فإن الإنتروبيا المشتركة هي مجرد حالة فرعية من الإنتروبيا حيث يكون المتغير العشوائي متجهًا يعطي قيمًا في فضاء الضرب. ^{[ 35 ]}

الإنتروبيا الشرطية أو عدم اليقين الشرطي لـ X بالنظر إلى المتغير العشوائي Y (يسمى أيضًا غموض X حول Y ) هو متوسط ​​الإنتروبيا الشرطية على Y : ^{[ 51 ]}

${\displaystyle H(X|Y)=\mathbb {E} _{Y[H(X|y)]=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log p(x|y)=-\sum _{x,y}p(x,y)\log p(x|y).}$

بما أن الإنتروبيا يمكن أن تكون مشروطة بمتغير عشوائي أو بقيمة معينة لهذا المتغير العشوائي، فينبغي توخي الحذر لعدم الخلط بين هذين التعريفين للإنتروبيا المشروطة، حيث يُستخدم التعريف الأول بشكل أكثر شيوعًا. ومن الخصائص الأساسية لهذا النوع من الإنتروبيا المشروطة ما يلي:

${\displaystyle H(X|Y)=H(X,Y)-H(Y).\,}$

تقيس المعلومات المتبادلة كمية المعلومات التي يمكن الحصول عليها حول متغير عشوائي من خلال مراقبة متغير آخر. وهي مهمة في مجال الاتصالات، حيث يمكن استخدامها لزيادة كمية المعلومات المتبادلة بين الإشارات المرسلة والمستقبلة.تُعطى المعلومات المتبادلة للمتغير X بالنسبة للمتغير Y بالصيغة التالية:

${\displaystyle I(X;Y)=\mathbb {E} _{X,Y[SI(x,y)]=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}}$

حيث SI ( المعلومات المتبادلة الخاصة بـ S ) هي المعلومات المتبادلة النقطية .

تتمثل إحدى الخصائص الأساسية للمعلومات المتبادلة فيما يلي:

${\displaystyle I(X;Y)=H(X)-H(X|Y).\,}$

أي معرفة${\textstyle Y}$يمكننا توفير ما معدله I ( X ; Y ) بت في عملية التشفير${\displaystyle X}$مقارنة بعدم المعرفة${\displaystyle Y}$.

المعلومات المتبادلة متناظرة :

${\displaystyle I(X;Y)=I(Y;X)=H(X)+H(Y)-H(X,Y).\,}$

يمكن التعبير عن المعلومات المتبادلة على أنها متوسط ​​تباعد كولباك-لايبير (مكسب المعلومات) بين التوزيع الاحتمالي اللاحق لـ${\displaystyle X}$بالنظر إلى قيمة${\textstyle Y}$والتوزيع المسبق على${\displaystyle X}$:

${\displaystyle I(X;Y)=\mathbb {E} _{p(y)}[D_{\mathrm {KL} }(p(X|Y=y)\|p(X))].}$

بمعنى آخر، هذا مقياس لمدى تباين توزيع الاحتمالات في المتوسط.${\displaystyle X}$سيتغير إذا تم إعطاؤنا قيمة${\textstyle Y}$. غالباً ما يُعاد حساب هذا على أنه التباعد من حاصل ضرب التوزيعات الهامشية إلى التوزيع المشترك الفعلي:

${\displaystyle I(X;Y)=D_{\mathrm {KL} }(p(X,Y)\|p(X)p(Y)).}$

ترتبط المعلومات المتبادلة ارتباطًا وثيقًا باختبار نسبة الاحتمال اللوغاريتمي في سياق جداول الطوارئ والتوزيع متعدد الحدود واختبار ^χ² لبيرسون : يمكن اعتبار المعلومات المتبادلة إحصائية لتقييم الاستقلال بين زوج من المتغيرات، ولها توزيع تقاربي محدد جيدًا.

يُعد تباعد كولباك -لايبير (أو تباعد المعلومات ، أو اكتساب المعلومات ، أو الإنتروبيا النسبية ) طريقة لمقارنة توزيعين: توزيع احتمالي "حقيقي "${\displaystyle p(X)}$، وتوزيع احتمالي عشوائي${\displaystyle q(X)}$إذا قمنا بضغط البيانات بطريقة تفترض${\displaystyle q(X)}$⁠ هو التوزيع الكامن وراء بعض البيانات، بينما في الواقع، ⁠${\displaystyle p(X)}$إذا كان التوزيع صحيحًا، فإن تباعد كولباك-لايبير هو عدد البتات الإضافية المتوسطة لكل معلومة ضرورية للضغط. وهكذا يُعرَّف

${\displaystyle D_{\mathrm {KL} }(p(X)\|q(X))=\sum _{x\in X}-p(x)\log {q(x)}\,-\,\sum _{x\in X}-p(x)\log {p(x)}=\sum _{x\in X}p(x)\log {\frac {p(x)}{q(x)}}.}$

على الرغم من أنه يستخدم أحيانًا كمقياس للمسافة، إلا أن تباعد KL ليس مقياسًا حقيقيًا لأنه ليس متناظرًا ولا يحقق متباينة المثلث (مما يجعله شبه شبه متري).

تفسير آخر لتباعد كولباك-ليبر هو "المفاجأة غير الضرورية" التي يُدخلها احتمال مسبق يختلف عن الحقيقة: لنفترض رقمًا${\displaystyle X}$سيتم اختيارها عشوائياً من مجموعة منفصلة بتوزيع احتمالي${\displaystyle p(x)}$إذا كانت أليس تعرف التوزيع الحقيقي${\displaystyle p(x)}$بينما يعتقد بوب (لديه اعتقاد مسبق ) أن التوزيع هو${\displaystyle q(x)}$إذن ، سيكون بوب أكثر دهشة من أليس، في المتوسط، عند رؤية قيمة${\displaystyle X}$تباعد كولباك-لايبير هو القيمة المتوقعة (الموضوعية) لمفاجأة بوب (الذاتية) مطروحًا منها مفاجأة أليس، مقاسة بالبتات إذا كان اللوغاريتم أساسه 2. وبهذه الطريقة، يمكن تحديد مدى "خطأ" افتراض بوب المسبق من حيث مدى "المفاجأة غير الضرورية" التي من المتوقع أن تجعله.

توفر معلومات كولباك ليبير صلة بين نظرية المعلومات واختبار الفرضيات، حيث أنها تمثل الأس الأمثل للخطأ في اختبار الفرضيات غير المتماثل .

معلومات موجهة ،${\displaystyle I(X^{n}\to Y^{n})}$، هو مقياس في نظرية المعلومات يحدد كمية تدفق المعلومات من العملية العشوائية${\displaystyle X^{n}=\{X_{1},X_{2},\dots ,X_{n}\}}$إلى العملية العشوائية${\displaystyle Y^{n}=\{Y_{1},Y_{2},\dots ,Y_{n}\}}$صاغ جيمس ماسي مصطلح المعلومات الموجهة ، ويُعرَّف على النحو التالي:

${\displaystyle I(X^{n}\to Y^{n})\ \triangleq \ \sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})}$،

أين${\displaystyle I(X^{i};Y_{i}|Y^{i-1})}$المعلومات المتبادلة المشروطة${\displaystyle I(X_{1},X_{2},...,X_{i};Y_{i}|Y_{1},Y_{2},...,Y_{i-1})}$.

على عكس المعلومات المتبادلة ، فإن المعلومات الموجهة ليست متناظرة.${\displaystyle I(X^{n}\to Y^{n})}$يقيس بتات المعلومات التي يتم نقلها بشكل سببي من${\displaystyle X^{n}}$ل${\displaystyle Y^{n}}$تُستخدم المعلومات الموجهة في العديد من التطبيقات في المشكلات التي تلعب فيها السببية دورًا هامًا، مثل سعة القناة مع التغذية الراجعة، ^{[ 52 ] [ 53 ]} وسعة الشبكات المنفصلة عديمة الذاكرة مع التغذية الراجعة، ^{[ 54 ]} والمقامرة مع معلومات جانبية سببية، ^{[ 55 ]} والضغط مع معلومات جانبية سببية، ^{[ 56 ]} وإعدادات اتصالات التحكم في الوقت الحقيقي ، ^{[ 57 ] [ 58 ]} وفي الفيزياء الإحصائية. ^{[ 59 ]}

تشمل الكميات المهمة الأخرى في نظرية المعلومات إنتروبيا ريني وإنتروبيا تساليس (وهما تعميمان لمفهوم الإنتروبيا)، والإنتروبيا التفاضلية (وهي تعميم لكميات المعلومات لتشمل التوزيعات المستمرة)، والمعلومات المتبادلة الشرطية . كما تم اقتراح المعلومات البراغماتية كمقياس لمدى استخدام المعلومات في اتخاذ القرار.

يمكن اعتبار أي عملية تُنتج رسائل متتالية مصدرًا للمعلومات. المصدر عديم الذاكرة هو مصدر تكون فيه كل رسالة متغيرًا عشوائيًا مستقلًا ومتطابق التوزيع ، بينما تفرض خصائص الإرجودية والثبات قيودًا أقل صرامة. جميع هذه المصادر عشوائية . وقد دُرست هذه المصطلحات بشكلٍ وافٍ في حد ذاتها خارج نطاق نظرية المعلومات.

تُعدّ الاتصالات عبر قناة ما الدافع الرئيسي لنظرية المعلومات. ومع ذلك، غالبًا ما تفشل القنوات في إعادة بناء الإشارة بدقة؛ فالضوضاء وفترات الصمت وغيرها من أشكال تشوه الإشارة تُؤدي عادةً إلى تدهور جودتها.

لنفترض عملية اتصال عبر قناة منفصلة. يوضح الشكل أدناه نموذجًا بسيطًا لهذه العملية:

${\displaystyle {\xrightarrow[{\text{Message}}]{W}}{\begin{array}{|c| }\hline {\text{Encoder}}\\f_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Encoded \atop sequence} }]{X^{n}}}{\begin{array}{|c| }\hline {\text{Channel}}\\p(y|x)\\\hline \end{array}}{\xrightarrow[{\mathrm {Received \atop sequence} }]{Y^{n}}}{\begin{array}{|c| }\hline {\text{Decoder}}\\g_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Estimated \atop message} }]{\hat {W}}}}$

هنا${\displaystyle X}$يمثل هذا الفضاء الذي تُرسل فيه الرسائل، و${\textstyle Y}$مساحة الرسائل المستلمة خلال وحدة زمنية عبر قناتنا. ولتكن p ( y | x ) دالة التوزيع الاحتمالي الشرطي لـ${\textstyle Y}$منح${\displaystyle X}$سنعتبر p ( y | x ) خاصية ثابتة متأصلة في قناة الاتصال لدينا (تمثل طبيعة ضوضاء القناة ). عندئذٍ يكون التوزيع المشترك لـ${\displaystyle X}$و${\textstyle Y}$يتحدد معدل نقل البيانات بشكل كامل بواسطة قناتنا واختيارنا للدالة f ( x ) ، وهي التوزيع الهامشي للرسائل التي نختار إرسالها عبر القناة. في ظل هذه القيود، نسعى إلى تعظيم معدل نقل المعلومات، أو الإشارة ، التي يمكننا إيصالها عبر القناة. المقياس المناسب لذلك هو المعلومات المتبادلة، وتُسمى هذه المعلومات المتبادلة القصوى سعة القناة ، وتُعطى بالصيغة التالية:

${\displaystyle C=\max _{f}I(X;Y).\!}$

تتمتع هذه السعة بالخاصية التالية المتعلقة بالاتصال بمعدل معلومات R (حيث R عادةً ما يُمثل عدد البتات لكل رمز). لأي معدل معلومات R < C وخطأ ترميز ε > 0، ولعدد N كبير بما فيه الكفاية ، يوجد رمز بطول N ومعدل ≥ R وخوارزمية فك ترميز، بحيث يكون الاحتمال الأقصى لخطأ الكتلة ≤ ε ؛ أي أنه من الممكن دائمًا الإرسال بخطأ كتلة صغير جدًا. بالإضافة إلى ذلك، لأي معدل R > C ، يستحيل الإرسال بخطأ كتلة صغير جدًا.

يهتم ترميز القناة بإيجاد رموز مثالية تقريبًا يمكن استخدامها لنقل البيانات عبر قناة مشوشة مع خطأ ترميز صغير بمعدل قريب من سعة القناة.

المعلومات القابلة للاستبدال هي المعلومات التي لا تُعدّ وسيلة ترميزها مهمة. ^{[ 65 ]} يهتم علماء نظرية المعلومات الكلاسيكية وعلماء الحاسوب بشكل أساسي بهذا النوع من المعلومات. ويُشار إليها أحيانًا بالمعلومات القابلة للنطق. ^{[ 66 ]}

تُستخدم مفاهيم وأساليب ومناهج نظرية المعلومات على نطاق واسع في علم وظائف الأعضاء الشبكية، ^{[ 67 ] [ 68 ] [ 69 ]} وهو مجال يوفر إطارًا كميًا، قائمًا على الشبكات التكيفية للأنظمة الديناميكية، لدراسة كيفية تبادل الأنظمة الفيزيولوجية للمعلومات ومعالجتها ودمجها كشبكة من أجل (أ) تنسيق وظائفها عبر المستويات والمقاييس (من دون الخلوية إلى مستوى الأعضاء والكائن الحي) و(ب) توليد حالات فيزيولوجية متميزة في الصحة والمرض. من خلال مقاييس مثل المعلومات المتبادلة، وإنتروبيا النقل، والمعلومات المشتركة، تُمكّن نظرية المعلومات من الكشف عن قوة الاقتران، والاتجاهية، والتآزر/التكرار، والتفاعلات من الرتبة العليا بين الأنظمة والأنظمة الفرعية الفيزيولوجية، مما يكشف كيفية حدوث التواصل والتنظيم الشبكي داخل الكائن الحي. تشمل تطبيقات مناهج نظرية المعلومات تحليل نقل المعلومات بين شبكات الدماغ والجسم خلال حالات مختلفة؛ ^{[ 70 ] [ 71 ] [ 72 ]} والتفاعلات القلبية التنفسية؛ ^{[ 73 ] [ 74 ] [ 75 ]} التفاعلات القلبية العضلية؛ ^{[ 76 ]} التفاعلات القشرية العضلية؛ ^{[ 77 ] [ 78 ]} تفاعلات موجات الدماغ والشبكات الوظيفية للدماغ؛ ^{[ 79 ] [ 80 ] [ 81 ] [ 82 ] [ 83 ]} فيزيولوجيا الشبكة في البيئات القاسية. ^{[ 84 ]}

تنطبق مفاهيم نظرية المعلومات على التشفير وتحليل الشفرات. استُخدمت وحدة معلومات تورينج، المعروفة باسم "بان" ، في مشروع "ألترا" ، مما ساهم في فك شفرة آلة إنجما الألمانية وتسريع نهاية الحرب العالمية الثانية في أوروبا . وقد عرّف شانون نفسه مفهومًا هامًا يُعرف الآن باسم " مسافة التفرد" . ويعتمد هذا المفهوم على تكرار النص الأصلي ، ويسعى إلى تحديد الحد الأدنى من النص المشفر اللازم لضمان فك تشفير فريد.

تُشير نظرية المعلومات إلى أن الحفاظ على الأسرار أصعب بكثير مما يبدو للوهلة الأولى. إذ يُمكن لهجوم القوة الغاشمة اختراق الأنظمة القائمة على خوارزميات المفاتيح غير المتماثلة ، أو على أكثر طرق خوارزميات المفاتيح المتماثلة شيوعًا (والتي تُسمى أحيانًا خوارزميات المفاتيح السرية)، مثل تشفير الكتل . ويستند أمان هذه الطرق إلى افتراض أنه لا يوجد هجوم معروف قادر على اختراقها في وقت عملي.

يشير أمن المعلومات النظري إلى أساليب مثل التشفير لمرة واحدة ، التي لا تتأثر بهجمات القوة الغاشمة. في هذه الحالة، تضمن المعلومات المتبادلة الشرطية الإيجابية بين النص الأصلي والنص المشفر (المشروطة بالمفتاح ) نقلًا سليمًا، بينما تبقى المعلومات المتبادلة غير الشرطية بينهما معدومة، مما ينتج عنه اتصالات آمنة تمامًا. بعبارة أخرى، لن يتمكن المتنصت من تحسين تخمينه للنص الأصلي بمعرفة النص المشفر دون معرفة المفتاح. مع ذلك، وكما هو الحال في أي نظام تشفير آخر، يجب توخي الحذر عند تطبيق حتى الأساليب الآمنة نظريًا؛ فقد تمكن مشروع فينونا من اختراق التشفير لمرة واحدة للاتحاد السوفيتي بسبب إعادة استخدامهم غير السليمة لمواد المفتاح.

تتوفر مولدات الأرقام شبه العشوائية على نطاق واسع في مكتبات لغات البرمجة وبرامج التطبيقات. وهي، في معظم الأحيان، غير مناسبة للاستخدام في التشفير لأنها لا تتجاوز الطبيعة الحتمية لأجهزة وبرامج الحاسوب الحديثة. يُطلق على فئة من مولدات الأرقام العشوائية المحسّنة اسم مولدات الأرقام شبه العشوائية الآمنة تشفيرياً ، ولكن حتى هذه المولدات تتطلب بذورًا عشوائية خارجية للبرنامج لتعمل كما هو مُخطط لها. يمكن الحصول على هذه البذور عبر أدوات الاستخراج ، إذا تم ذلك بعناية. يُقاس مستوى العشوائية الكافية في أدوات الاستخراج بالإنتروبيا الدنيا ، وهي قيمة مرتبطة بإنتروبيا شانون من خلال إنتروبيا ريني ؛ كما تُستخدم إنتروبيا ريني في تقييم العشوائية في أنظمة التشفير. على الرغم من ارتباطهما، فإن الاختلافات بين هذه المقاييس تعني أن المتغير العشوائي ذو إنتروبيا شانون العالية ليس بالضرورة مناسبًا للاستخدام في أداة الاستخراج، وبالتالي ليس مناسبًا للاستخدامات التشفيرية.

كان أحد التطبيقات التجارية المبكرة لنظرية المعلومات في مجال التنقيب الزلزالي عن النفط. وقد مكّن العمل في هذا المجال من إزالة الضوضاء غير المرغوب فيها وفصلها عن الإشارة الزلزالية المطلوبة. توفر نظرية المعلومات ومعالجة الإشارات الرقمية تحسينًا كبيرًا في الدقة ووضوح الصورة مقارنةً بالأساليب التناظرية السابقة. ^{[ 85 ]}

اعتبر كلٌّ من عالمَي السيميائيات دويدي نوتا ووينفريد نوث أن تشارلز ساندرز بيرس قد وضع نظريةً للمعلومات في أعماله حول السيميائيات. ^{[ 86 ] : 171 [ 87 ] : 137} عرّف نوتا نظرية المعلومات السيميائية بأنها دراسة " العمليات الداخلية للترميز والترشيح ومعالجة المعلومات " . ^{[ 86 ] : 91}

استخدم علماء السيميائيات، مثل أومبرتو إيكو وفيروتشيو روسي لاندي، مفاهيم من نظرية المعلومات، كالتكرار والتحكم في الشفرة ، لشرح الأيديولوجيا كشكل من أشكال نقل الرسائل، حيث تُصدر طبقة اجتماعية مهيمنة رسالتها باستخدام علامات تُظهر درجة عالية من التكرار، بحيث لا يتم فك شفرة سوى رسالة واحدة من بين مجموعة من الرسائل المتنافسة. ^{[ 88 ]}

تم تطبيق أساليب نظرية المعلومات الكمية في العلوم المعرفية لتحليل تنظيم العمليات المتكاملة للمعلومات العصبية في سياق مشكلة الربط في علم الأعصاب المعرفي . ^{[ 89 ]} في هذا السياق، يتم تعريف إما مقياس نظري للمعلومات، مثل المجموعات الوظيفية ( نموذج التجميع الوظيفي لجيرالد إيدلمان وجوليو تونوني وفرضية النواة الديناميكية (DCH) ^{[ 90 ]} ) أو المعلومات الفعالة ( نظرية المعلومات المتكاملة لتونوني (IIT) للوعي ^{[ 91 ] [ 92 ] [ 93 ]} )، (على أساس تنظيم عملية إعادة الدخول، أي تزامن النشاط العصبي الفيزيولوجي بين مجموعات من التجمعات العصبية)، أو مقياس تقليل الطاقة الحرة على أساس الأساليب الإحصائية ( مبدأ الطاقة الحرة لكارل جيه فريستون (FEP)، وهو مقياس نظري للمعلومات ينص على أن كل تغيير تكيفي في نظام ذاتي التنظيم يؤدي إلى تقليل الطاقة الحرة، وفرضية الدماغ البايزية ^{[ 94 ] [ 95 ] [ 96 ] [ 97 ] [ 98 ]} ).

تُستخدم نظرية المعلومات أيضاً في البحث عن ذكاء خارج الأرض ، ^{[ 99 ]} والثقوب السوداء ، ^{[ 100 ]} والمعلوماتية الحيوية ، ^{[ 101 ]} والمقامرة . ^{[ 102 ] [ 103 ]}

• هارتلي، RVL
• تاريخ نظرية المعلومات
• شانون، سي إي
• الجدول الزمني لنظرية المعلومات
• يوكي، إتش بي
• أندريه كولموغوروف