تاريخ نظرية المعلومات

تحتاج هذه المقالة إلى مصادر إضافية للتحقق . يُرجى المساعدة في تحسين هذه المقالة بإضافة مصادر موثوقة . قد يتم الطعن في المواد غير الموثقة وإزالتها. البحث عن المصادر:  "تاريخ نظرية المعلومات" - الأخبار  · الصحف  · الكتب  · العلماء  · JSTOR ( أغسطس 2017 ) ( تعرف على كيفية ومتى تزيل هذه الرسالة )

كان الحدث الحاسم الذي أدى إلى تأسيس تخصص نظرية المعلومات ، وجلبه إلى الاهتمام العالمي الفوري، هو نشر ورقة كلود إي شانون الكلاسيكية " النظرية الرياضية للاتصالات " في مجلة Bell System Technical Journal في شهري يوليو وأكتوبر من عام 1948.

في هذه الورقة البحثية الثورية والمبتكرة، والتي أكمل شانون العمل فيها بشكل أساسي في مختبرات بيل بحلول نهاية عام 1944، قدم شانون لأول مرة النموذج النوعي والكمي للاتصالات كعملية إحصائية أساسية لنظرية المعلومات، حيث بدأ بالتأكيد على أن

"المشكلة الأساسية في الاتصال هي إعادة إنتاج رسالة تم اختيارها في نقطة أخرى في نقطة واحدة، إما بالضبط أو تقريبًا."

ومعها جاءت أفكار

• إنتروبيا المعلومات والتكرار في المصدر، وأهميتها من خلال نظرية ترميز المصدر ؛
• المعلومات المتبادلة ، وسعة القناة للقناة الصاخبة، بما في ذلك الوعد بالاتصال المثالي الخالي من الخسارة الممنوح من خلال نظرية ترميز القناة الصاخبة ؛
• النتيجة العملية لقانون شانون-هارتلي لسعة القناة الغاوسية؛ وبالطبع
• البت - طريقة جديدة لرؤية الوحدة الأساسية للمعلومات.

تستخدم بعض أقدم طرق الاتصالات ضمناً العديد من الأفكار التي سيتم قياسها لاحقًا في نظرية المعلومات. استخدمت التلغراف الحديث ، بدءًا من ثلاثينيات القرن التاسع عشر، شفرة مورس ، حيث يتم نقل الأحرف الأكثر شيوعًا (مثل "E"، والتي يتم التعبير عنها بـ "نقطة" واحدة) بشكل أسرع من الأحرف الأقل شيوعًا (مثل "J"، والتي يتم التعبير عنها بـ "نقطة" واحدة تليها ثلاث "شرطات"). فكرة تشفير المعلومات بهذه الطريقة هي حجر الزاوية في ضغط البيانات بدون فقدان . بعد مائة عام، أوضحت تقنية التضمين الترددي أن النطاق الترددي يمكن اعتباره مجرد درجة أخرى من الحرية. تم تصميم جهاز ترميز الصوت ، الذي يُنظر إليه الآن إلى حد كبير على أنه فضول هندسي صوتي، في الأصل في عام 1939 لاستخدام نطاق ترددي أقل من نطاق الرسالة الأصلية، بنفس الطريقة التي تتاجر بها الهواتف المحمولة الآن بجودة الصوت مع النطاق الترددي.

كانت المقدمات الأكثر مباشرة لعمل شانون عبارة عن ورقتين بحثيتين نُشرتا في عشرينيات القرن العشرين بواسطة هاري نيستكويست ورالف هارتلي ، اللذين كانا لا يزالان من قادة الأبحاث في مختبرات بيل عندما وصل شانون في أوائل الأربعينيات.

تتناول ورقة نيكويست التي كتبها عام 1924 بعنوان "بعض العوامل المؤثرة على سرعة التلغراف" بعض الجوانب الهندسية التفصيلية لإشارات التلغراف. ولكن قسمًا أكثر نظرية يناقش تحديد "الذكاء" و"سرعة الخط" التي يمكن أن ينتقل بها بواسطة نظام الاتصالات، مع إعطاء العلاقة

${\displaystyle W=K\log m\,}$

حيث W هي سرعة نقل المعلومات الاستخباراتية، وm هو عدد مستويات الجهد المختلفة للاختيار من بينها في كل خطوة زمنية، و K هو ثابت. ^[1]

وقد ذهب هارتلي في بحثه الذي نشر عام 1928، والذي أطلق عليه ببساطة "نقل المعلومات"، إلى أبعد من ذلك باستخدام كلمة " معلومات " (بالمعنى الفني)، وتوضيح أن المعلومات في هذا السياق هي كمية قابلة للقياس، تعكس فقط قدرة المستقبل على التمييز بين تسلسل واحد من الرموز كان مقصوداً من قِبَل المرسل وليس أي تسلسل آخر ـ بغض النظر عن أي معنى مرتبط أو جانب نفسي أو دلالي آخر قد تمثله الرموز. وقد حدد هارتلي هذه الكمية من المعلومات على أنها

${\displaystyle H=\log S^{n}\,}$

حيث كان S هو عدد الرموز الممكنة، و n هو عدد الرموز في الإرسال. لذلك كانت الوحدة الطبيعية للمعلومات هي الرقم العشري، والذي تمت إعادة تسميته لاحقًا باسم هارتلي تكريمًا له كوحدة أو مقياس أو قياس للمعلومات. لا تزال معلومات هارتلي ، H ₀ ، تُستخدم ككمية للوغاريتم للعدد الإجمالي للاحتمالات. ^[2]

تم تقديم وحدة مماثلة لاحتمالية اللوغاريتم ₁₀ ، وهي البان ، ووحدتها المشتقة ديسيبان (عُشر البان)، بواسطة آلان تورينج في عام 1940 كجزء من التحليل الإحصائي لكسر شفرات إنجما الألمانية في الحرب العالمية الثانية. يمثل الديسيبان الانخفاض في (لوغاريتم) العدد الإجمالي للاحتمالات (على غرار التغيير في معلومات هارتلي)؛ وكذلك نسبة الاحتمال اللوغاريتمي (أو التغيير في وزن الأدلة) التي يمكن استنتاجها لفرضية واحدة على أخرى من مجموعة من الملاحظات. التغيير المتوقع في وزن الأدلة يعادل ما يسمى لاحقًا بمعلومات تمييز كولباك .

ولكن ما كان يرتكز عليه هذا المفهوم كان لا يزال فكرة الاحتمالات المسبقة المتساوية، وليس محتوى المعلومات الخاص بالأحداث ذات الاحتمالات غير المتساوية؛ ولا حتى أي صورة أساسية للأسئلة المتعلقة بتوصيل مثل هذه النتائج المتنوعة.

في رسالة عام 1939 إلى فانيفار بوش ، كان شانون قد حدد بالفعل بعض أفكاره الأولية حول نظرية المعلومات. ^[3]

كان أحد المجالات التي كانت الاحتمالات غير المتساوية معروفة فيها حقًا هو الميكانيكا الإحصائية، حيث قدم لودفيج بولتزمان ، في سياق نظريته H لعام 1872، الكمية لأول مرة

${\displaystyle H=-\sum f_{i}\log f_{i}}$

كقياس لاتساع انتشار الحالات المتاحة لجسيم واحد في غاز من الجسيمات المتشابهة، حيث يمثل f التوزيع الترددي النسبي لكل حالة ممكنة. زعم بولتزمان رياضيًا أن تأثير الاصطدامات بين الجسيمات من شأنه أن يتسبب في زيادة دالة H حتمًا من أي تكوين أولي حتى الوصول إلى التوازن؛ وحددها أيضًا باعتبارها مبررًا مجهريًا أساسيًا للإنتروبيا الديناميكية الحرارية العيانية لكلوزيوس .

سرعان ما أعاد الفيزيائي الرياضي الأمريكي ج. ويلارد جيبس ​​صياغة تعريف بولتزمان في صيغة عامة للإنتروبيا الإحصائية الميكانيكية، والتي لم تعد تتطلب جسيمات متطابقة وغير متفاعلة، بل تعتمد بدلاً من ذلك على توزيع الاحتمالات p _i للحالة الدقيقة الكاملة i للنظام الكلي:

${\displaystyle S=-k_{\text{B}}\sum p_{i}\ln p_{i}\,}$

يمكن إيجاد أن هذه الإنتروبيا (جيبس)، من الميكانيكا الإحصائية، تتوافق بشكل مباشر مع التعريف الديناميكي الحراري الكلاسيكي لكلاوزيوس .

يبدو أن شانون نفسه لم يكن مدركاً بشكل خاص للتشابه الوثيق بين مقياسه الجديد وأعماله السابقة في الديناميكا الحرارية، لكن جون فون نيومان كان مدركاً لذلك. ويقال إنه عندما كان شانون يقرر تسمية مقياسه الجديد وخوفاً من الإفراط في استخدام مصطلح "المعلومات"، قال له فون نيومان بحزم: "ينبغي لك أن تسميه الإنتروبيا، لسببين. أولاً، لقد تم استخدام دالة عدم اليقين الخاصة بك في الميكانيكا الإحصائية تحت هذا الاسم، وبالتالي فهي تحمل اسمًا بالفعل. ثانيًا، وهو الأهم، لا أحد يعرف حقًا ما هي الإنتروبيا حقًا، وبالتالي في المناقشة ستكون لك دائمًا الميزة".

(تم استكشاف العلاقة بين إنتروبيا المعلومات النظرية والإنتروبيا الديناميكية الحرارية، بما في ذلك المساهمات المهمة التي قدمها رولف لانداور في ستينيات القرن العشرين، بشكل أكبر في المقال "الإنتروبيا في الديناميكا الحرارية ونظرية المعلومات ").

كان نشر ورقة شانون عام 1948 بعنوان " نظرية رياضية للاتصالات " في مجلة Bell System Technical Journal بمثابة الأساس لنظرية المعلومات كما نعرفها اليوم. وقد حدثت العديد من التطورات والتطبيقات للنظرية منذ ذلك الحين، مما جعل العديد من الأجهزة الحديثة للاتصال وتخزين البيانات مثل الأقراص المضغوطة والهواتف المحمولة ممكنة.

وقد تم إدراج التطورات اللاحقة الهامة في الجدول الزمني لنظرية المعلومات ، بما في ذلك:

• عام 1951، تم اختراع ترميز هوفمان ، وهي طريقة للعثور على أكواد البادئة المثالية لضغط البيانات بدون فقدان .
• إيرفينج إس. ريد وديفيد إي. مولر يقترحان رموز ريد-مولر في عام 1954.
• اقتراح قوانين ريد-سولومون لعام 1960 .
• في عام 1966، قام فوميتادا إيتاكورا ( من جامعة ناغويا ) وشوزو سايتو ( من شركة نيبون تيليغراف آند تلفون ) بتطوير الترميز التنبئي الخطي (LPC)، وهو شكل من أشكال ترميز الكلام . ^[4]
• في عام 1968، اخترع إلوين بيرليكامب خوارزمية بيرليكامب-ماسي ؛ وأشار جيمس إل. ماسي في العام التالي إلى تطبيقها في فك رموز BCH وReed-Solomon.
• في عام 1972، اقترح ناصر أحمد تحويل جيب التمام المنفصل (DCT). ^[5] وأصبح فيما بعد خوارزمية الضغط الضائعة الأكثر استخدامًا ، والأساس لمعايير ضغط الوسائط الرقمية من عام 1988 فصاعدًا، بما في ذلك معايير H.26x (منذ H.261 ) وترميز الفيديو MPEG ، ^[6] وضغط صور JPEG ، ^[7] وضغط الصوت MP3 ، ^[8] والترميز الصوتي المتقدم (AAC). ^[9]
• في عام 1976، قدم جوتفريد أونجربوك أول ورقة بحثية عن تعديل التعريشة ؛ وأدى عرض أكثر تفصيلاً في عام 1982 إلى رفع سرعات POTS للمودم التناظري من 9.6 كيلوبت/ثانية إلى 33.6 كيلوبت/ثانية
• في عام 1977، قام أبراهام ليمبل وجاكوب زيف بتطوير ضغط ليمبل-زيف ( LZ77 )
• في أوائل الثمانينيات، قامت رينوكا ب. جيندال في مختبرات بيل بتحسين أداء الضوضاء لأجهزة أشباه الموصلات المعدنية والأكسيدية (MOS)، وحل المشكلات التي حدت من حساسية جهاز الاستقبال ومعدلات البيانات الخاصة بها . أدى هذا إلى التبني الواسع النطاق لتكنولوجيا أشباه الموصلات المعدنية والأكسيدية في أنظمة الموجات الضوئية بالليزر وتطبيقات المحطات الطرفية اللاسلكية ، مما مكن من قانون إدهولم . ^[10]
• في عام 1989، نشر فيل كاتز التنسيق المتضمن DEFLATE (.zip ترميز LZ77 + Huffman)؛ ليصبح فيما بعد حاوية الأرشيف الأكثر استخدامًا على نطاق واسع.
• في عام 1995، صاغ بنيامين شوماخر مصطلح كيوبت وأثبت نظرية التشفير الكمومي الخالي من الضوضاء.

• التسلسل الزمني لنظرية المعلومات
• كلود شانون
• رالف هارتلي
• نظرية H