مقدمة في الإنتروبيا

ينبثق مفهوم الإنتروبيا الديناميكية الحرارية من القانون الثاني للديناميكا الحرارية . يحدد هذا القانون مقدار انخفاض قدرة نظام ديناميكي حراري مركب معزول على بذل شغل ديناميكي حراري على محيطه، أو يشير إلى إمكانية حدوث عملية ديناميكية حرارية. على سبيل المثال، عندما يتوفر مسار مناسب، تنتقل الحرارة تلقائيًا من الجسم الأكثر سخونة إلى الجسم الأبرد.

يُقاس الإنتروبيا الديناميكية الحرارية على أنها تغير في الإنتروبيا (${\displaystyle \Delta S}$) إلى نظام يحتوي على نظام فرعي يخضع لانتقال الحرارة إلى محيطه (داخل النظام محل الدراسة). ويستند هذا إلى العلاقة الكلية بين تدفق الحرارة إلى النظام الفرعي ودرجة الحرارة التي يحدث عندها، محسوبة على مجموع حدود ذلك النظام الفرعي.

باتباع الشكلية التي وضعها كلاوزيوس ، يمكن صياغة الحساب الأساسي رياضياً على النحو التالي: ^{[ 3 ]}

${\displaystyle {\rm {\delta }}S={\frac {{\rm {\delta }}q}{T}}.}$

أين${\displaystyle \delta S}$هل الزيادة أو النقصان في الإنتروبيا؟${\displaystyle \delta q}$هل الحرارة المضافة إلى النظام أم المطروحة منه، و${\displaystyle T}$هي درجة الحرارة. علامة المساواة والرمز${\displaystyle \delta }$وهذا يعني أن انتقال الحرارة يجب أن يكون ضئيلاً وبطيئاً لدرجة أنه بالكاد يغير درجة الحرارة${\displaystyle T}$.

إذا سُمح لدرجة الحرارة بالتغير، فيجب تكامل المعادلة على مسار درجة الحرارة. لا تسمح هذه الحسابات لتغير الإنتروبيا بتحديد القيمة المطلقة، بل الفروق فقط. في هذا السياق، يمكن صياغة القانون الثاني للديناميكا الحرارية على أنه بالنسبة للحرارة المنتقلة عبر أي عملية صالحة لأي نظام، سواء كان معزولًا أم لا،

${\displaystyle {{\rm {\delta }}S}\geq {\frac {{\rm {\delta }}q}{T}}.}$

وفقًا للقانون الأول للديناميكا الحرارية ، الذي يتناول حفظ الطاقة ، فإن الفقد${\displaystyle \delta q}$يؤدي ارتفاع درجة الحرارة إلى انخفاض الطاقة الداخلية للنظام الديناميكي الحراري . يوفر الإنتروبيا الديناميكية الحرارية مقياسًا مقارنًا لمقدار الانخفاض في الطاقة الداخلية والزيادة المقابلة في الطاقة الداخلية للمحيط عند درجة حرارة معينة. في كثير من الحالات، يمكن تصور القانون الثاني للديناميكا الحرارية على أنه إذا لم يكن هناك ما يعيق ذلك، فإن الطاقة بجميع أنواعها تتحول من كونها مركزة إلى كونها منتشرة أو متفرقة. عند الاقتضاء، تُعد زيادة الإنتروبيا المقياس الكمي لهذا النوع من العمليات التلقائية: مقدار الطاقة التي فُقدت فعليًا أو أصبحت غير متاحة، من خلال تشتتها أو انتشارها، كما هو مُقاس عند درجة حرارة محددة. في هذا التقييم، عندما تكون درجة الحرارة أعلى، يُقيّم مقدار الطاقة المتشتتة على أنه "يكلف" نسبة أقل. وذلك لأن الجسم الأكثر سخونة يكون عمومًا أكثر قدرة على القيام بعمل ديناميكي حراري، مع ثبات العوامل الأخرى، مثل الطاقة الداخلية. لهذا السبب يحتوي محرك البخار على غرفة احتراق ساخنة.

يتناول القانون الثاني للديناميكا الحرارية تغيرات الإنتروبيا فقط (${\displaystyle \Delta S}$يمكن تحديد الإنتروبيا المطلقة (S) لنظام ما باستخدام القانون الثالث للديناميكا الحرارية ، الذي ينص على أن إنتروبيا جميع المواد البلورية تمامًا تساوي صفرًا عند الصفر المطلق . ^{[ 4 ]} وبالتالي، فإن الإنتروبيا عند درجة حرارة أخرى تساوي الزيادة في الإنتروبيا عند تسخين النظام بشكل عكسي من الصفر المطلق إلى درجة الحرارة المطلوبة. ^{[ 5 ]}

ترتبط الإنتروبيا الديناميكية الحرارية ارتباطًا وثيقًا بمفهوم إنتروبيا المعلومات ( H ). تُعدّ إنتروبيا المعلومات مقياسًا لمدى "انتشار" دالة كثافة الاحتمال أو دالة كتلة الاحتمال. لا تفترض الديناميكا الحرارية أي افتراضات حول الطبيعة الذرية للمادة، ولكن عند النظر إلى المادة بهذه الطريقة، كمجموعة من الجسيمات التي تتحرك باستمرار وتتبادل الطاقة فيما بينها، والتي يمكن وصفها بطريقة احتمالية، يُمكن تطبيق نظرية المعلومات بنجاح لتفسير نتائج الديناميكا الحرارية. تُعرف النظرية الناتجة باسم الميكانيكا الإحصائية .

يُعدّ مفهوم الحالة المجهرية والحالة العيانية للنظام من المفاهيم المهمة في الميكانيكا الإحصائية. فإذا كان لدينا وعاء يحتوي على غاز، على سبيل المثال، ونعرف موضع وسرعة كل جزيء فيه، فإننا نعرف الحالة المجهرية لهذا النظام. أما إذا كنا نعرف فقط الوصف الديناميكي الحراري للنظام، أي الضغط والحجم ودرجة الحرارة و/أو الإنتروبيا، فإننا نعرف الحالة العيانية. أدرك بولتزمان أن هناك العديد من الحالات المجهرية المختلفة التي يمكن أن تُنتج الحالة العيانية نفسها، ولأن الجسيمات تتصادم مع بعضها البعض وتُغيّر سرعاتها ومواضعها، فإن الحالة المجهرية للغاز تتغير باستمرار. ولكن إذا كان الغاز في حالة اتزان، فلا يبدو أن هناك أي تغيير في سلوكه العياني: لا تغييرات في الضغط أو درجة الحرارة، إلخ. تربط الميكانيكا الإحصائية الإنتروبيا الديناميكية الحرارية للحالة العيانية بعدد الحالات المجهرية التي يمكن أن تُنتج تلك الحالة العيانية. في الميكانيكا الإحصائية، تُعطى إنتروبيا النظام بمعادلة لودفيج بولتزمان.

${\displaystyle S=k_{\text{B}}\,\ln W}$

حيث S هي الإنتروبيا الديناميكية الحرارية، و W هو عدد الحالات المجهرية التي قد تؤدي إلى الحالة العيانية، و${\displaystyle k_{\text{B}}}$هو ثابت بولتزمان . اللوغاريتم الطبيعي لعدد الحالات المجهرية (${\displaystyle \ln W}$يُعرف هذا باسم إنتروبيا المعلومات للنظام (بافتراض أن كل حالة دقيقة متساوية الاحتمالية). ويمكن توضيح ذلك بمثال بسيط:

إذا قمت برمي عملتين معدنيتين، فستحصل على أربع نتائج مختلفة. إذا كان H تعني صورة و T تعني كتابة، فيمكننا الحصول على ( H , H )، و( H , T )، و( T , H )، و( T , T ). يمكننا تسمية كل حالة من هذه الحالات "حالة جزئية" نعرف نتائجها بدقة. ولكن ماذا لو كانت لدينا معلومات أقل؟ لنفترض أننا نعرف فقط العدد الإجمالي للصور، والذي يمكن أن يكون 0 أو 1 أو 2. يمكننا تسمية هذه الحالات "حالات كلية". الحالة الجزئية ( T , T ) فقط هي التي تعطي الحالة الكلية صفر، والحالتان ( H , T ) و( T , H ) تعطيان الحالة الكلية 1، والحالة ( H , H ) فقط هي التي تعطي الحالة الكلية 2. لذا يمكننا القول إن إنتروبيا المعلومات للحالتين الكليتين 0 و2 هي ln(1) أي صفر، بينما إنتروبيا المعلومات للحالة الكلية 1 هي ln(2) أي حوالي 0.69. من بين جميع الحالات الجزئية، تمثل الحالة الكلية 1 نصفها.

اتضح أنه عند رمي عدد كبير من العملات المعدنية، فإن الحالات الكلية التي تكون فيها نسبة نصفها صورة ونصفها كتابة تمثل تقريبًا جميع الحالات الجزئية. بعبارة أخرى، بالنسبة لمليون عملة معدنية، يمكنك التأكد بنسبة كبيرة من أن نصفها تقريبًا سيكون صورة والنصف الآخر كتابة. الحالات الكلية التي تكون فيها نسبة 50-50 بين الصورة والكتابة هي حالة التوازن الكلية. يمتلك النظام الفيزيائي الحقيقي المتوازن عددًا هائلاً من الحالات الجزئية الممكنة، ومعظمها يمثل حالة التوازن الكلية، وهي الحالة الكلية التي ستراها على الأرجح إذا انتظرت وقتًا كافيًا. في مثال العملة المعدنية، إذا بدأت بحالة كلية غير محتملة (مثل ظهور جميع الصور، على سبيل المثال مع إنتروبيا صفرية) وبدأت برمي عملة واحدة في كل مرة، ستبدأ إنتروبيا الحالة الكلية في الازدياد، تمامًا كما هو الحال مع الإنتروبيا الديناميكية الحرارية، وبعد فترة، ستكون العملات على الأرجح عند أو بالقرب من حالة التوازن الكلية 50-50، والتي تتمتع بأعلى إنتروبيا معلوماتية - إنتروبيا التوازن.

الحالة الكلية للنظام هي ما نعرفه عنه، كدرجة حرارة وضغط وحجم غاز في صندوق. لكل مجموعة من قيم درجة الحرارة والضغط والحجم ، توجد العديد من ترتيبات الجزيئات التي تُنتج هذه القيم. عدد ترتيبات الجزيئات التي يمكن أن تُنتج نفس قيم درجة الحرارة والضغط والحجم هو عدد الحالات الجزئية.

طُوِّر مفهوم إنتروبيا المعلومات لوصف العديد من الظواهر، وذلك تبعًا للمجال والسياق الذي يُستخدم فيه. وعند تطبيقه على مشكلة عدد كبير من الجسيمات المتفاعلة، إلى جانب بعض القيود الأخرى، مثل قانون حفظ الطاقة، وافتراض أن جميع الحالات المجهرية متساوية الاحتمال، فإن نظرية الميكانيكا الإحصائية الناتجة تُحقق نجاحًا باهرًا في تفسير قوانين الديناميكا الحرارية .

عندما تم تعريف كلمة "الإنتروبيا" واستخدامها لأول مرة عام 1865، كان وجود الذرات نفسه لا يزال موضع جدل، على الرغم من أنه كان يُعتقد منذ فترة طويلة أن درجة الحرارة ناتجة عن حركة المكونات المجهرية وأن "الحرارة" هي انتقال تلك الحركة من مكان إلى آخر. تغير الإنتروبيا،${\displaystyle \Delta S}$وُصفت الإنتروبيا بمصطلحات ماكروسكوبية يمكن قياسها مباشرة، مثل الحجم أو درجة الحرارة أو الضغط. ومع ذلك، فإن المعادلة الكلاسيكية للإنتروبيا اليوم${\displaystyle \Delta S={\frac {q_{\mathrm {rev} }}{T}}}$يمكن شرح ذلك، جزءًا جزءًا، بمصطلحات حديثة تصف كيف أن الجزيئات مسؤولة عما يحدث:

• ${\displaystyle \Delta S}$هو التغير في إنتروبيا نظام (مادة فيزيائية معينة) بعد انتقال طاقة حركية (حرارة) إليه بواسطة جزيئات سريعة الحركة.${\displaystyle \Delta S=S_{\mathrm {final} }-S_{\mathrm {initial} }}$.
• ثم،${\displaystyle \Delta S=S_{\mathrm {final} }-S_{\mathrm {initial} }={\frac {q_{\mathrm {rev} }}{T}}}$، وهو ناتج قسمة الطاقة الحركية ("الحرارة") q التي يتم نقلها "بشكل عكسي" (rev) إلى النظام من المحيط (أو من نظام آخر على اتصال بالنظام الأول) مقسومًا على T، وهي درجة الحرارة المطلقة التي يحدث عندها النقل.
  • تعني كلمة "عكسي" أو "بشكل عكسي" (rev) ببساطة أن درجة حرارة النظام (T) يجب أن تبقى ثابتة تقريبًا أثناء نقل الطاقة إليه أو منه. وهذا سهل في حالة تغيرات الحالة، حيث يجب أن يبقى النظام في الحالة الصلبة أو السائلة حتى يتم تزويده بطاقة كافية لكسر الروابط بين الجزيئات قبل أن يتحول إلى سائل أو غاز. على سبيل المثال، في انصهار الجليد عند273.15 كلفن  ، بغض النظر عن درجة حرارة المحيط - من273.20  ألف إلىعند درجة حرارة 500  كلفن أو حتى أعلى، ستبقى درجة حرارة الجليد عند273.15  كلفن حتى تتحول آخر جزيئات الجليد إلى ماء سائل، أي حتى تنكسر جميع الروابط الهيدروجينية بين جزيئات الماء في الجليد وتتشكل روابط هيدروجينية جديدة أقل ثباتًا بين جزيئات الماء السائل. وقد وُجد أن كمية الطاقة اللازمة لذوبان الجليد لكل مول هي6008 J  at273  كلفن . لذلك، فإن تغير الإنتروبيا لكل مول هو${\displaystyle {\frac {q_{\mathrm {rev} }}{T}}={\frac {6008\,\mathrm {J} }{273\,\mathrm {K} }}}$، أو22  J/K .
  • عندما لا تصل درجة الحرارة إلى نقطة انصهار أو غليان المادة، لا يمكن كسر الروابط بين جزيئاتها، وبالتالي فإن أي طاقة حركية جزيئية ("حرارة") تنتقل من المحيط إلى النظام ترفع درجة حرارته، مما يجعل جزيئاته تتحرك بسرعة متزايدة. ومع ارتفاع درجة الحرارة باستمرار، لم تعد هناك قيمة محددة لـ "T" يتم عندها نقل الطاقة. ومع ذلك، يمكن قياس انتقال الطاقة "العكسي" عند ارتفاع طفيف جدًا في درجة الحرارة، ويمكن إيجاد المجموع التراكمي بجمع كل من فترات أو زيادات صغيرة متعددة في درجة الحرارة. على سبيل المثال، لإيجاد تغير الإنتروبيا${\displaystyle {\frac {q_{\mathrm {rev} }}{T}}}$منمن 300  ألف إلى310  كلفن ، قم بقياس كمية الطاقة المنقولة عند عشرات أو مئات الزيادات في درجة الحرارة، على سبيل المثال من300.00  ألف إلى300.01  كلفن ثم من 300.01 إلى 300.02 وهكذا، قسمة q على كل T، وأخيراً جمعها كلها.
  • يمكن استخدام حساب التفاضل والتكامل لتسهيل هذه الحسابات إذا كان تأثير الطاقة المُدخلة إلى النظام يعتمد خطيًا على تغير درجة الحرارة، كما هو الحال في التسخين البسيط لنظام عند درجات حرارة متوسطة إلى عالية نسبيًا. وبالتالي، فإن الطاقة المنقولة "لكل تغير إضافي في درجة الحرارة" (السعة الحرارية،${\displaystyle C_{p}}$)، مضروبًا في تكامل${\displaystyle {\frac {dT}{T}}}$من${\displaystyle T_{\mathrm {initial} }}$ل${\displaystyle T_{\mathrm {final} }}$، ويتم الحصول عليها مباشرة من${\displaystyle \Delta S=C_{p}\ln {\frac {T_{\mathrm {final} }}{T_{\mathrm {initial} }}}}$.

• مقياس الطاقة غير المتاحة للعمل : هذه عبارة شائعة الاستخدام، ورغم صحتها، إلا أنها تتطلب توضيحًا كبيرًا لفهمها. فهي تنطبق فقط على العمليات الدورية العكوسة، وبهذا المعنى قد تكون مُضللة. يُقصد بـ"العمل" تحريك جسم، كرفع ثقل، أو تسريع دولاب الموازنة، أو حمل حمولة إلى أعلى تل. لتحويل الحرارة إلى عمل، باستخدام محرك بخاري يعمل بالفحم مثلاً، يجب أن يكون لدينا نظامان بدرجتي حرارة مختلفتين، وتعتمد كمية العمل المُستخرجة على مقدار الفرق في درجة الحرارة وحجم النظامين. إذا كان أحد النظامين في درجة حرارة الغرفة، والآخر أكبر بكثير وقريب من الصفر المطلق، فإنه يُمكن تحويل جميع طاقة النظام ذي درجة حرارة الغرفة تقريبًا إلى عمل. أما إذا كان كلاهما في نفس درجة حرارة الغرفة، فلا يُمكن تحويل أي جزء من طاقة النظام ذي درجة حرارة الغرفة إلى عمل. وبالتالي، فإن الإنتروبيا هي مقياس لكمية الطاقة التي لا يُمكن تحويلها إلى عمل في ظل هذه الظروف. وبشكل أكثر دقة، بالنسبة لنظام معزول يتكون من نظامين مغلقين عند درجات حرارة مختلفة، فإن كمية الإنتروبيا المفقودة من قبل النظام الساخن، مضروبة في درجة حرارة النظام البارد، هي كمية الطاقة التي لا يمكن تحويلها إلى شغل.
• مؤشر على اللاعكوسية : يتوافق تفسير "اللاعكوسية" بشكل وثيق مع تفسير "عدم توفر الطاقة". فالعمليات الديناميكية الحرارية التلقائية لاعكوسية، بمعنى أنها لا تتلاشى تلقائيًا. كما أن للعمليات الديناميكية الحرارية المفروضة اصطناعيًا بواسطة عوامل في محيط الجسم آثارًا لا عكوسية عليه. على سبيل المثال، عندما استخدم جيمس بريسكوت جول جهازًا ينقل كمية محددة من الشغل الميكانيكي من المحيط عبر مجداف يحرك الماء، استقبل الماء الطاقة المنقولة على شكل حرارة. وكان تمدد الماء ضئيلاً عند قيامه بعمل ديناميكي حراري معاكس على المحيط. ولم يُظهر الماء أي علامة على إعادة الطاقة بتحريك المجداف عكسيًا. وظهر انتقال الشغل على شكل حرارة، ولم يكن بالإمكان استعادته دون وجود خزان بارد مناسب في المحيط. ويُقدم مفهوم الإنتروبيا وصفًا دقيقًا لهذه اللاعكوسية.
• التشتت : اقترح إدوارد أ. غوغنهايم تفسيرًا للغة الدارجة للإنتروبيا، يمكن ترجمته إلى "تشتت أنماط الحركة المجهرية عبر نطاقها المتاح". ^{[ 7 ] [ 8 ]} لاحقًا، إلى جانب نقد فكرة الإنتروبيا باعتبارها "فوضى"، دافع فرانك ل. لامبرت عن تفسير التشتت ، ^{[ 6 ] [ 9 ]} ويُستخدم في بعض الكتب الدراسية. ^{[ 10 ]}

يشير التفسير في جوهره إلى الانتشار في فضاءات الحالة المجهرية المجردة، ولكن يمكن تصوره بشكل مبسط من خلال بعض الأمثلة البسيطة لانتشار المادة أو الطاقة مكانيًا. فإذا أُزيل حاجز بين غازين مختلفين، تنتشر جزيئات كل غاز تلقائيًا على أوسع نطاق ممكن في حيزها الجديد المتاح؛ ويمكن اعتبار ذلك بمثابة اختلاط. وإذا أُزيل حاجز يمنع انتقال الحرارة بين جسمين مختلفي الحرارة، بحيث يمكن للحرارة أن تنتقل بينهما، فإن الطاقة تنتشر تلقائيًا على شكل حرارة من الجسم الأكثر سخونة إلى الجسم الأبرد.

بعيدًا عن هذه التصورات العامة، في عملية ديناميكية حرارية عامة، عند النظر إليها على المستوى المجهري، يحدث تشتت تلقائي في فضاء طوري مجهري مجرد . ووفقًا لقانون نيوتن وقوانين الحركة الأخرى، يوفر فضاء الطور مخططًا منهجيًا لوصف تنوع الحركة المجهرية التي تحدث في الأجسام المادية والإشعاعية. ويمكن اعتبار القانون الثاني للديناميكا الحرارية بمثابة تفسير كمي للتفاعلات الوثيقة، والتشتت، أو الاختلاط لهذه الحركات المجهرية. بعبارة أخرى، يمكن اعتبار الإنتروبيا مقياسًا لمدى تنوع حركات المكونات المجهرية للأجسام المادية والإشعاعية في حالات توازنها الديناميكي الحراري الداخلي.

• كمقياس للفوضى : تقليديًا، قدّمت كتب القرن العشرين مفهوم الإنتروبيا على أنه نظام وفوضى، بحيث يوفر "مقياسًا لفوضى أو عشوائية النظام". وقد قيل إن الغموض والتفسيرات التعسفية للمصطلحات المستخدمة (مثل "الفوضى" و"الاضطراب") تُسهم في انتشار الارتباك، وقد تعيق فهم الإنتروبيا لدى معظم الطلاب. من ناحية أخرى، في تفسير ملائم وإن كان تعسفيًا، يمكن تعريف "الاضطراب" بدقة على أنه إنتروبيا شانون لتوزيع الاحتمالية للحالات الميكروية بالنظر إلى حالة عيانية معينة، ^{[ 11 ] : 379،} وفي هذه الحالة يكون الربط بين "الاضطراب" والإنتروبيا الديناميكية الحرارية واضحًا، ولكنه تعسفي وغير بديهي لأي شخص غير مُلمّ بنظرية المعلومات.
• المعلومات المفقودة : إن فكرة أن إنتروبيا المعلومات هي مقياس لمدى جهل المرء بالنظام هي فكرة مفيدة للغاية.

إذا استخدمنا اللوغاريتم ذي الأساس 2 بدلاً من اللوغاريتم الطبيعي لتعريف إنتروبيا المعلومات، فإن إنتروبيا المعلومات تساوي تقريبًا متوسط ​​عدد أسئلة نعم/لا (المختارة بعناية ^{[ 12 ]} ) التي يجب طرحها للحصول على معلومات كاملة عن النظام قيد الدراسة. في المثال التمهيدي لعملتين معدنيتين تم قلبهما، فإن إنتروبيا المعلومات للحالة الكلية التي تحتوي على وجه وظهر، لا تتطلب سوى سؤال واحد لتحديد حالتها بدقة (مثلاً: هل الوجه الأول هو الوجه؟). وبدلاً من التعبير عن الإنتروبيا بـ ln(2)، يمكننا القول، بشكل مكافئ، أنها log₂ ₍ 2)، وهو ما يساوي عدد الأسئلة الثنائية التي نحتاج إلى طرحها: سؤال واحد. عند قياس الإنتروبيا باستخدام اللوغاريتم الطبيعي (ln)، تُسمى وحدة إنتروبيا المعلومات "نات"، ولكن عند قياسها باستخدام اللوغاريتم ذي الأساس 2، تُسمى وحدة إنتروبيا المعلومات "شانون" (أو "بت"). هذا مجرد اختلاف في الوحدات، تمامًا مثل الفرق بين البوصات والسنتيمترات. (1  نات = log₂e _شانون )  . الإنتروبيا الديناميكية الحرارية تساوي ثابت بولتزمان مضروبًا في إنتروبيا المعلومات المُعبر عنها بالنات. إنتروبيا المعلومات المُعبر عنها بوحدة شانون (Sh) تساوي عدد أسئلة بنعم أو لا تحتاج إلى إجابة لتحديد الحالة المجهرية من الحالة العيانية.

يمكن تحليل مفهومي "الفوضى" و"الانتشار" مع الأخذ في الاعتبار مفهوم إنتروبيا المعلومات. على سبيل المثال، إذا أخرجنا مجموعة أوراق لعب جديدة من العلبة، وكانت مرتبة "بترتيب مثالي" (البستوني، القلوب، الماس، النوادي، كل مجموعة تبدأ بالآس وتنتهي بالملك)، فيمكننا القول إن لدينا مجموعة "مرتبة" ذات إنتروبيا معلومات تساوي صفرًا. إذا قمنا بخلط الأوراق جيدًا، فستكون إنتروبيا المعلومات حوالي 225.6  شانون: سنحتاج إلى طرح حوالي 225.6 سؤالًا، في المتوسط، لتحديد الترتيب الدقيق للأوراق بعد الخلط. يمكننا أيضًا القول إن الأوراق بعد الخلط أصبحت "فوضوية" تمامًا، أو أن الأوراق المرتبة قد "انتشرت" في جميع أنحاء المجموعة. لكن إنتروبيا المعلومات لا تشترط ترتيب الأوراق بطريقة معينة. إذا أخذنا أوراقنا بعد الخلط وكتبنا أسماء الأوراق بالترتيب، فإن إنتروبيا المعلومات تصبح صفرًا. إذا قمنا بإعادة خلط أوراق اللعب، فإن إنتروبيا المعلومات ستكون حوالي 225.6  شانون، حتى لو عادت الأوراق، بمعجزة ما، إلى نفس ترتيبها الأصلي، لأنه حتى لو حدث ذلك، فلن نعرف. لذا، فإن مفهوم "الفوضى" مفيد إذا كنا نعني بالترتيب أقصى قدر من المعرفة، وبالفوضى أقصى قدر من الجهل. أما مفهوم "الانتشار" فهو مفيد لأنه يعطينا فكرة عما يحدث للأوراق عند خلطها. فاحتمالية وجود ورقة في مكان معين في مجموعة أوراق مرتبة هي إما 0 أو 1، أما في مجموعة مختلطة فهي 1/52. أي أن الاحتمالية قد "انتشرت" على كامل المجموعة. وبالمثل، في الأنظمة الفيزيائية، ترتبط الإنتروبيا عمومًا بـ"انتشار" الكتلة أو الطاقة.

تُعطى العلاقة بين الإنتروبيا الديناميكية الحرارية وإنتروبيا المعلومات بمعادلة بولتزمان، التي تنص على أن S = k _B ln W. إذا أخذنا اللوغاريتم الثنائي لـ W ، فسنحصل على متوسط ​​عدد الأسئلة التي يجب طرحها حول الحالة المجهرية للنظام الفيزيائي لتحديد حالته الكلية. ^{[ 13 ]}