قانون زيبف

قانون زيبف ( / z ɪ f / ) هو قانون تجريبي ينص على أنه عندما يتم فرز مجموعة من القيم المقاسة بترتيب تنازلي، فإن قيمة الإدخال رقم n غالبًا ما تكون متناسبة عكسيًا تقريبًا مع n .

أشهر مثال لقانون زيبف ينطبق على التوزيع التكراري للكلمات في نص أو مجموعة من اللغة الطبيعية :

$${\displaystyle \ {\mathsf {word\ frequency}}\ \propto \ {\frac {1}{\ {\mathsf {word\ rank}}\ }}~.}$$

يُلاحظ عادةً أن الكلمة الأكثر شيوعًا تظهر ضعف عدد مرات ظهور الكلمة التي تليها، وثلاثة أضعاف عدد مرات ظهور الكلمة الثالثة، وهكذا. على سبيل المثال، في مدونة براون للنصوص الإنجليزية الأمريكية، تُعد كلمة " the " الكلمة الأكثر تكرارًا، إذ تُمثل وحدها ما يقرب من 7% من إجمالي مرات ظهور الكلمات (69,971 مرة من أصل ما يزيد قليلًا عن مليون مرة). ووفقًا لقانون زيبف، فإن الكلمة التي تحتل المرتبة الثانية " of " تُمثل ما يزيد قليلًا عن 3.5% من الكلمات (36,411 مرة)، تليها كلمتا " and " (28,852 مرة). ^{[ 1 ]} ويُستخدم هذا القانون غالبًا بالشكل التالي، والذي يُعرف بقانون زيبف-ماندلبروت :

$${\displaystyle \ {\mathsf {frequency}}\ \propto \ {\frac {1}{\ \left(\ {\mathsf {rank}}+b\ \right)^{a}\ }}\ }$$أين${\displaystyle \ a\ }$و${\displaystyle \ b\ }$هي معلمات مُلائمة، مع${\displaystyle \ a\approx 1}$، و${\displaystyle \ b\approx 2.7~}$[ ^{2 ]​}

يُنسب هذا القانون إلى اللغوي الأمريكي جورج كينغسلي زيبف ، ^{[ 3 ] [ 4 ] [ 5 ]} ولا يزال مفهومًا مهمًا في اللغويات الكمية . وقد وُجد أنه ينطبق على العديد من أنواع البيانات الأخرى التي دُرست في العلوم الفيزيائية والاجتماعية .

في الإحصاء الرياضي ، تمّت صياغة هذا المفهوم رسميًا باسم توزيع زيبف : وهو عبارة عن عائلة من التوزيعات الاحتمالية المنفصلة المرتبطة ببعضها ، والتي يكون توزيع رتبتها وتكرارها مرتبطًا بعلاقة أسية عكسية . وترتبط هذه التوزيعات بقانون بنفورد وتوزيع باريتو .

تنحرف بعض مجموعات البيانات التجريبية المعتمدة على الزمن قليلاً عن قانون زيبف. ويُقال إن هذه التوزيعات التجريبية شبه زيبفية .

في عام 1913، لاحظ الفيزيائي الألماني فيليكس أورباخ وجود تناسب عكسي بين أحجام سكان المدن وترتيبها عند فرزها تنازليًا حسب هذا المتغير. ^{[ 6 ]}

تم اكتشاف قانون زيبف قبل زيبف، ^{[ أ ]} أولاً من قبل كاتب الاختزال الفرنسي جان بابتيست إستوب في عام 1916، ^{[ 8 ] [ 7 ]} وأيضًا من قبل جي ديوي في عام 1923، ^{[ 9 ]} ومن قبل إي كوندون في عام 1928. ^{[ 10 ]}

لاحظ جورج زيبف العلاقة نفسها فيما يتعلق بتكرار الكلمات في نصوص اللغة الطبيعية عام 1932، ^{[ 4 ]} لكنه لم يدّعِ قط أنه مكتشفها. في الواقع، لم يكن زيبف مولعًا بالرياضيات. في منشوره عام 1932، ^{[ 11 ]} يتحدث المؤلف بازدراء عن التدخل الرياضي في علم اللغة، انظر المرجع نفسه ، ص  21.

... دعوني أقول هنا، من أجل أي عالم رياضيات قد يخطط لصياغة البيانات اللاحقة بدقة أكبر، إن قدرة الموجب شديد الكثافة على أن يصبح سالبًا شديد الكثافة، في رأيي، تُدخل الشيطان في الصيغة على شكل${\displaystyle \ {\sqrt {-i\;}}~.}$

يبدو التعبير الرياضي الوحيد الذي استخدمه زيبف على شكل ab ² = ثابت، والذي "استعاره" من منشور ألفريد ج. لوتكا عام 1926. ^{[ 12 ]}

وُجدت العلاقة نفسها في العديد من السياقات الأخرى، ولمتغيرات أخرى غير التكرار. ^{[ 2 ]} على سبيل المثال، عند تصنيف الشركات تنازليًا حسب الحجم، وُجد أن أحجامها تتناسب عكسيًا مع التصنيف. ^{[ 13 ]} وتُلاحظ العلاقة نفسها بالنسبة للدخول الشخصية (حيث تُسمى مبدأ باريتو ^{[ 14 ]} )، وعدد الأشخاص الذين يشاهدون القناة التلفزيونية نفسها، ^{[ 15 ]} والنوتات الموسيقية، ^{[ 16 ]} ونسخ الخلايا ، ^{[ 17 ] [ 18 ]} وغيرها.

في عام 1957، اقترح جورج أ. ميلر أن قانون القوة يظهر حتى في النصوص المولدة عشوائيًا. ^{[ 19 ]} وفي عام 1992، نشر عالم المعلوماتية الحيوية وينتيان لي برهانًا ^{[ 20 ]} على أن شكل قانون القوة لقانون زيبف هو نتاج ثانوي لترتيب الكلمات حسب رتبتها. ^{[ 21 ]}

بصورة رسمية، يُحدد توزيع زيبف على N عنصر الاحتمالية التالية للعنصر ذي الرتبة k (بدءًا من 1):

$${\displaystyle \ f(k;N)~=~{\begin{cases}{\frac {1}{\ H_{N}}}\ {\frac {1}{\ k\ }}\ ,&\ {\mbox{ إذا كان }}\ 1\leq k\leq N~,\\{}\\~~0~~,&\ {\mbox{ إذا كان }}\ k<1\ {\mbox{ أو }}\ N<k~.\end{cases}}}$$حيث H _N هو ثابت التوحيد: العدد التوافقي رقم N :

$${\displaystyle H_{N}\equiv \sum _{k=1}^{N}{\frac {\ 1\ }{k}}~.}$$

يُعمم التوزيع أحيانًا إلى قانون قوة عكسي مع أس s بدلاً من 1. ^{[ 22 ]} أي ،

$${\displaystyle f(k;N,s)={\frac {1}{H_{N,s}}}\,{\frac {1}{k^{s}}}}$$

حيث H _{N , s} هو عدد توافقي معمّم

$${\displaystyle H_{N,s}=\sum _{k=1}^{N}{\frac {1}{k^{s}}}~.}$$

يمكن توسيع توزيع زيبف المعمم ليشمل عددًا لا نهائيًا من العناصر ( N = ∞) فقط إذا تجاوز الأس s القيمة 1. في هذه الحالة، يصبح ثابت التطبيع H _{N , s} دالة زيتا لريمان .

$${\displaystyle \zeta (s)=\sum _{k=1}^{\infty }{\frac {1}{k^{s}}<\infty ~.}$$

تتميز حالة العدد اللانهائي من العناصر بتوزيع زيتا ، وتُعرف بقانون لوتكا . إذا كان الأس s يساوي 1 أو أقل، فإن ثابت التوحيد H _{N , s} يتباعد عندما يؤول N إلى اللانهاية.

تجريبياً، يمكن اختبار مجموعة بيانات لمعرفة ما إذا كان قانون زيبف ينطبق عليها من خلال التحقق من مدى ملاءمة التوزيع التجريبي لتوزيع قانون القوة المفترض باستخدام اختبار كولموغوروف-سميرنوف ، ثم مقارنة نسبة الاحتمال (اللوغاريتمي) لتوزيع قانون القوة مع التوزيعات البديلة مثل التوزيع الأسي أو التوزيع اللوغاريتمي الطبيعي. ^{[ 23 ]}

يمكن تمثيل قانون زيبف بيانيًا برسم بيانات تكرار العناصر على رسم بياني لوغاريتمي ، حيث يمثل المحوران لوغاريتم رتبة العنصر ولوغاريتم تكراره. تتوافق البيانات مع قانون زيبف ذي الأس s، بحيث يقترب الرسم البياني من دالة خطية (أو بالأحرى، دالة تآلفية ) بميل −s . عند الأس s = 1 ، يمكن أيضًا رسم مقلوب التكرار (متوسط ​​الفاصل الزمني بين الكلمات) مقابل الرتبة، أو مقلوب الرتبة مقابل التكرار ^، ومقارنة النتيجة بالخط المار بنقطة الأصل وميله 1. ^{[ 3} ] 

على الرغم من أن قانون زيبف ينطبق على معظم اللغات الطبيعية، وحتى بعض اللغات الاصطناعية مثل الإسبرانتو ^{[ 24 ]} وتوكي بونا ^{[ 25 ]،} إلا أن السبب لا يزال غير مفهوم تمامًا ^{[ 26 ]} . وتشمل المراجعات الحديثة للعمليات التوليدية لقانون زيبف دراسة ميتزنماخر بعنوان "تاريخ موجز للنماذج التوليدية لتوزيعات قانون القوة والتوزيعات اللوغاريتمية الطبيعية" ^{[ 27 ]} ، ودراسة سيمكين بعنوان "إعادة ابتكار ويليس" ^{[ 28 ] .}

مع ذلك، يُمكن تفسير ذلك جزئيًا بالتحليل الإحصائي للنصوص المُولّدة عشوائيًا. فقد بيّن وينتيان لي أنه في وثيقةٍ اختير فيها كل حرف عشوائيًا من توزيعٍ منتظمٍ لجميع الأحرف (بالإضافة إلى مسافة)، فإن "الكلمات" ذات الأطوال المختلفة تتبع الاتجاه العام لقانون زيبف (الكلمات الأكثر احتمالًا هي الأقصر ولها احتمالية متساوية). ^{[ 20 ]} وفي عام 1959، لاحظ فيتولد بيليفيتش أنه إذا تم التعبير عن أيٍّ من فئةٍ كبيرةٍ من التوزيعات الإحصائية المنتظمة (ليس التوزيع الطبيعي فقط ) بدلالة الرتبة وتوسيعها إلى متسلسلة تايلور ، فإن اقتطاع المتسلسلة من الدرجة الأولى يُؤدي إلى قانون زيبف. علاوةً على ذلك، فإن اقتطاع متسلسلة تايلور من الدرجة الثانية يُؤدي إلى قانون ماندلبروت . ^{[ 29 ] [ 30 ]}

يُعدّ مبدأ بذل أقل جهد تفسيراً محتملاً آخر: فقد اقترح زيبف نفسه أن لا المتحدثين ولا المستمعين الذين يستخدمون لغة معينة يرغبون في بذل جهد أكبر من اللازم للوصول إلى الفهم، وأن العملية التي تؤدي إلى توزيع متساوٍ تقريباً للجهد تؤدي إلى توزيع زيبف الملحوظ. ^{[ 5 ] [ 31 ]}

يفترض التفسير المبسط أن الكلمات تُولَّد بواسطة قرود تكتب عشوائيًا . إذا كانت اللغة تُولَّد بواسطة قرد واحد يكتب عشوائيًا، باحتمالية ثابتة وغير صفرية للضغط على كل مفتاح حرف أو مسافة بيضاء، فإن الكلمات (سلاسل الأحرف المفصولة بمسافات بيضاء) التي ينتجها القرد تتبع قانون زيبف. ^{[ 32 ]}

من الأسباب المحتملة الأخرى لتوزيع زيبف عملية التعلق التفضيلي ، حيث تميل قيمة x لعنصر ما إلى النمو بمعدل يتناسب مع x (بمعنى بديهي، " يزداد الأغنياء غنىً " أو "النجاح يولد النجاح"). ينتج عن عملية النمو هذه توزيع يول-سيمون ، الذي ثبت أنه يُطابق تردد الكلمات مقابل رتبتها في اللغة ^{[ 33 ]} ونسبة السكان مقابل رتبة المدينة ^{[ 34 ]} بشكل أفضل من قانون زيبف. وقد اشتقّه يول في الأصل لتفسير نسبة السكان مقابل رتبتها في الأنواع، وطبّقه سيمون على المدن.

يستند تفسير مشابه إلى نماذج الأطلس، وهي أنظمة من عمليات الانتشار القابلة للتبادل ذات القيم الموجبة ، والتي تعتمد معلمات الانحراف والتباين فيها فقط على رتبة العملية. وقد ثبت رياضياً أن قانون زيبف ينطبق على نماذج الأطلس التي تستوفي شروط انتظام طبيعية معينة. ^{[ 35 ] [ 36 ]}

يُعد قانون زيبف -ماندلبروت تعميمًا لقانون زيبف ، وقد اقترحه بينوا ماندلبروت ، وتكون تردداته كالتالي:

$${\displaystyle f(k;N,q,s)={\frac {1}{\ C\ }}\ {\frac {1}{\ \left(k+q\right)^{s}}}~.}$$

الثابت C هو دالة زيتا هورويتز المحسوبة عند s .

يمكن الحصول على توزيعات زيبف من توزيعات باريتو عن طريق تبادل المتغيرات. ^{[ 22 ]}

يُطلق على توزيع زيبف أحيانًا اسم توزيع باريتو المنفصل ^{[ 37 ]} لأنه مشابه لتوزيع باريتو المستمر بنفس الطريقة التي يكون بها التوزيع المنتظم المنفصل مشابهًا للتوزيع المنتظم المستمر .

ترددات الذيل لتوزيع يول-سيمون تقريبًا

$${\displaystyle f(k;\rho )\approx {\frac {\ [{\mathsf {constant}}]\ }{k^{(\rho +1)}}}}$$لأي اختيار لـ ρ > 0 .

في التوزيع الكسري المكافئ ، يكون لوغاريتم التردد دالة تربيعية للوغاريتم الرتبة. وهذا يُحسّن التطابق بشكل ملحوظ مقارنةً بعلاقة قانون القوة البسيطة. ^{[ 38 ]} ومثل البُعد الكسري، يُمكن حساب بُعد زيبف، وهو مُعامل مفيد في تحليل النصوص. ^{[ 39 ]}

It has been argued that Benford's law is a special bounded case of Zipf's law,^[38] with the connection between these two laws being explained by their both originating from scale invariant functional relations from statistical physics and critical phenomena.^[40] The ratios of probabilities in Benford's law are not constant. The leading digits of data satisfying Zipf's law with s = 1 , satisfy Benford's law.

${\displaystyle n}$	Benford's law: ${\displaystyle P(n)=}$${\displaystyle \log _{10}(n+1)-\log _{10}(n)}$	${\displaystyle {\frac {\log(P(n)/P(n-1))}{\log(n/(n-1))}}}$
1	0.30103000
2	0.17609126	−0.7735840
3	0.12493874	−0.8463832
4	0.09691001	−0.8830605
5	0.07918125	−0.9054412
6	0.06694679	−0.9205788
7	0.05799195	−0.9315169
8	0.05115252	−0.9397966
9	0.04575749	−0.9462848

• 1% rule – Hypothesis that more people will lurk in a virtual community than will participate
• Benford's law – Observation that in many real-life datasets, the leading digit is likely to be small
• Bradford's law – Pattern of references in science journals
• Brevity law – Linguistics law
• Demographic gravitation – Social effect
• Word list – Bare list of a language's words in corpus linguistics
• Gibrat's law – Economic principle
• Hapax legomenon – Word appearing only once in a text or record
• Heaps' law – Heuristic for distinct words in a documentPages displaying short descriptions of redirect targets
• Hilberg's hypothesis – Power law growth of entropy of language or a stochastic process
• Historical recurrence – Repetition of similar events in history
• King effect – Phenomenon in statistics where highest-ranked data points are outliers
• الذيل الطويل – سمة من سمات بعض التوزيعات الإحصائية 
• منحنى لورنز – رسم بياني لتوزيع الثروة أو الدخل 
• قانون لوتكا – تطبيق قانون زيبف على المنشورات حسب المجال 
• قانون منزراث – القانون اللغوي 
• توزيع باريتو – التوزيع الاحتمالي 
• مبدأ باريتو – مبدأ إحصائي يتعلق بنسبة التأثيرات إلى الأسباب 
• قانون برايس – فرضية قياس الإنتاج الفكري 
• مبدأ بذل أقل جهد - فكرة مفادها أن الفاعلين يفضلون القيام بما هو أسهل 
• توزيع الرتبة والحجم – التوزيع الإحصائي 
• قانون ستيجلر للتسمية - ملاحظة مفادها أنه لا يُطلق اسم مكتشف أي اكتشاف علمي على مكتشفه. 
• تكرار الأحرف
• أكثر الكلمات شيوعاً في اللغة الإنجليزية

• جيلبوخ، ألكسندر؛ سيدوروف، غريغوري (2001). "معاملات قوانين زيبف وهيبس تعتمد على اللغة". اللغويات الحاسوبية ومعالجة النصوص الذكية . سلسلة محاضرات في علوم الحاسوب. المجلد  2004. الصفحات 332-335 . doi : 10.1007/3-540-44686-9_33 . ISBN  978-3-540-41687-6.
• كالي، راجا (15 سبتمبر 2003). "المدينة كمكون عملاق: منهج الرسم البياني العشوائي لقانون زيبف". رسائل الاقتصاد التطبيقي . 10 (11): 717-720 . doi : 10.1080/1350485032000139006 .
• شيكلو، ألكسندرا إليزابيث (2017). شرح مبسط للغز زيبف من خلال توزيع جديد للرتب والحصة، مستمد من توافقية عملية الترتيب (تقرير). SSRN 2918642 . 
• موسكوفيتز، كلارا؛ فورد، نيكا؛ كريستيانسن، جين (يناير 2024). "الخلايا حسب العدد والحجم". مجلة ساينتفك أمريكان . 330 (1): 94. doi : 10.1038/scientificamerican0124-94 . PMID 39017389 . 

• ستروغاتز، ستيفن (29 مايو 2009). "مقال رأي: الرياضيات والمدينة" . صحيفة نيويورك تايمز . مؤرشف من الأصل في 27 سبتمبر 2015. تم الاطلاع عليه في 29 مايو 2009 .— مقال حول تطبيق قانون زيبف على سكان المدن
• رؤية ما وراء الزوايا (المجتمعات الاصطناعية تُبرز قانون زيبف)
• مقال من موقع PlanetMath حول قانون زيبف
• توزيعات من نوع "القطع المكافئ الكسري" في مجلة Nature (بالفرنسية، مع ملخص بالإنجليزية). مؤرشفة بتاريخ 24 أكتوبر 2004 على موقع Wayback Machine.
• تحليل توزيع الدخل
• قائمة زيبف للكلمات الفرنسية، مؤرشفة بتاريخ ٢٣ يونيو ٢٠٠٧ في أرشيف الإنترنت (Wayback Machine) .
• قائمة زيبف للغات الإنجليزية والفرنسية والإسبانية والإيطالية والسويدية والأيسلندية واللاتينية والبرتغالية والفنلندية من مشروع غوتنبرغ، وآلة حاسبة إلكترونية لترتيب الكلمات في النصوص. مؤرشفة بتاريخ 8 أبريل 2011 على موقع Wayback Machine.
• سيلاجادزه، ز.ك. (1999). "الاستشهادات وقانون زيبف-ماندلبروت". arXiv : physics/9901035 .
• أمثلة ونماذج لقانون زيبف (1985)
• أداميك، لادا (2011). "فك شفرة قانون زيبف" . مجلة نيتشر . 474 (7350): 164-165 . Bibcode : 2011Natur.474..164A . doi : 10.1038/474164a . PMID 21654791 . 
• قانون بنفورد، وقانون زيبف، وتوزيع باريتو من قبل تيرينس تاو .
• "قانون زيبف" ، موسوعة الرياضيات ، دار نشر EMS، 2001 [1994]