النمطية (الشبكات)

مثال على قياس وتلوين الوحدات النمطية على شبكة لا تعتمد على المقياس .

تُعدّ المعيارية مقياسًا لبنية الشبكات أو الرسوم البيانية ، حيث تقيس قوة تقسيم الشبكة إلى وحدات (تُسمى أيضًا مجموعات أو عناقيد أو مجتمعات). تتميز الشبكات ذات المعيارية العالية بوجود روابط كثيفة بين العقد داخل الوحدات، بينما تكون الروابط بين العقد في الوحدات المختلفة أقل كثافة. تُستخدم المعيارية غالبًا في أساليب التحسين للكشف عن بنية المجتمعات في الشبكات. تُظهر الشبكات البيولوجية، بما في ذلك أدمغة الحيوانات، درجة عالية من المعيارية. مع ذلك، فإن تعظيم المعيارية ليس متسقًا إحصائيًا، إذ يجد المجتمعات في نموذجه الصفري، أي الرسوم البيانية العشوائية تمامًا، وبالتالي لا يمكن استخدامه لإيجاد بنى مجتمعية ذات دلالة إحصائية في الشبكات التجريبية. علاوة على ذلك، فقد ثبت أن المعيارية تعاني من حدّ في الدقة، وبالتالي فهي غير قادرة على اكتشاف المجتمعات الصغيرة.

تحفيز

يمكن تمثيل العديد من المشكلات ذات الأهمية العلمية ودراستها تجريبيًا باستخدام الشبكات. على سبيل المثال، تُعد الأنماط البيولوجية والاجتماعية، وشبكة الإنترنت العالمية، والشبكات الأيضية، وشبكات الغذاء، والشبكات العصبية، والشبكات المرضية، مشكلات واقعية يمكن تمثيلها رياضيًا ودراستها طوبولوجيًا للكشف عن بعض السمات الهيكلية غير المتوقعة. [ 1 ] تمتلك معظم هذه الشبكات بنية مجتمعية معينة ذات أهمية كبيرة في فهم ديناميكيات الشبكة. فعلى سبيل المثال، يشير المجتمع الاجتماعي المترابط بشكل وثيق إلى سرعة أكبر في نقل المعلومات أو الشائعات بين أفراده مقارنةً بالمجتمع المترابط بشكل ضعيف. وبالتالي، إذا مُثّلت الشبكة بعدد من العقد الفردية المتصلة بروابط تدل على درجة معينة من التفاعل بين العقد، فإن المجتمعات تُعرَّف بأنها مجموعات من العقد المترابطة بكثافة والتي ترتبط بشكل متفرق ببقية الشبكة. لذلك، قد يكون من الضروري تحديد المجتمعات في الشبكات نظرًا لأن المجتمعات قد تمتلك خصائص مختلفة تمامًا، مثل درجة العقدة، ومعامل التجميع، والمركزية، [ 2 ] وما إلى ذلك، عن خصائص الشبكة المتوسطة. تُعدّ المعيارية أحد هذه المقاييس، والتي عند تحقيق أقصى قدر منها، تؤدي إلى ظهور مجتمعات في شبكة معينة.

تعريف

المعيارية هي نسبة الحواف التي تقع ضمن مجموعات معينة مطروحًا منها النسبة المتوقعة إذا تم توزيع الحواف عشوائيًا. تقع قيمة المعيارية للرسوم البيانية غير الموزونة وغير الموجهة ضمن النطاق التالي:[-1/2،1]{\displaystyle [-1/2,1]}[ 3 ] تكون القيمة موجبة إذا تجاوز عدد الروابط داخل المجموعات العدد المتوقع عشوائيًا. بالنسبة لتقسيم معين لرؤوس الشبكة إلى وحدات، تعكس خاصية التجزئة تركيز الروابط داخل الوحدات مقارنةً بالتوزيع العشوائي للروابط بين جميع العقد بغض النظر عن الوحدات .

توجد طرق مختلفة لحساب معامل التجزئة. [ 1 ] في النسخة الأكثر شيوعًا لهذا المفهوم، يتم إجراء عملية عشوائية للحواف للحفاظ على درجة كل رأس. لنفترض وجود رسم بياني معن{\displaystyle n}العقد وم{\displaystyle m}الروابط ( الحواف ) بحيث يمكن تقسيم الرسم البياني إلى مجموعتين باستخدام متغير العضويةs{\displaystyle s}إذا كانت العقدةv{\displaystyle v}ينتمي إلى المجتمع 1،sv=1{\displaystyle s_{v}=1}أو إذاv{\displaystyle v}ينتمي إلى المجتمع 2،sv=-1{\displaystyle s_{v}=-1}لنفترض أن مصفوفة التجاور للشبكة ممثلة بـأ{\displaystyle A}، أينأvw=0{\displaystyle A_{vw}=0}هذا يعني عدم وجود حافة (لا يوجد تفاعل) بين العقد.v{\displaystyle v}وw{\displaystyle w}وأvw=1{\displaystyle A_{vw}=1}هذا يعني وجود حافة بين الاثنين. ولتبسيط الأمر، نعتبر شبكة غير موجهة.أvw=أwv{\displaystyle A_{vw}=A_{wv}}(قد توجد حواف متعددة بين عقدتين، ولكننا هنا نقوم بتقييم أبسط حالة).

نمطية التصميمسؤال{\displaystyle Q}ثم يتم تعريفها على أنها نسبة الحواف التي تقع ضمن المجموعة 1 أو 2، مطروحًا منها العدد المتوقع للحواف ضمن المجموعتين 1 و 2 لرسم بياني عشوائي له نفس توزيع درجة العقدة مثل الشبكة المعطاة.

يُحسب العدد المتوقع للحواف باستخدام مفهوم نموذج التكوين . [ 4 ] نموذج التكوين هو تمثيل عشوائي لشبكة معينة. بالنظر إلى شبكة ذاتن{\displaystyle n}العقد، حيث كل عقدةv{\displaystyle v}له درجة عقدةكv{\displaystyle k_{v}}يقوم نموذج التكوين بتقسيم كل حافة إلى نصفين، ثم يُعاد توصيل كل نصف حافة، يُسمى جذعًا ، عشوائيًا بأي جذع آخر في الشبكة، حتى أنه يسمح بوجود حلقات ذاتية (تحدث عند إعادة توصيل جذع بجذع آخر من نفس العقدة) وحواف متعددة بين نفس العقدتين. وبالتالي، على الرغم من أن توزيع درجة العقد في الرسم البياني يبقى كما هو، فإن نموذج التكوين ينتج عنه شبكة عشوائية تمامًا.

العدد المتوقع للحواف بين العقد

لنفترض الآن وجود عقدتينv{\displaystyle v}وw{\displaystyle w}، بدرجات العقدةكv{\displaystyle k_{v}}وكw{\displaystyle k_{w}}على التوالي، من شبكة معاد توصيلها عشوائياً كما هو موضح أعلاه. نحسب العدد المتوقع للحواف الكاملة بين هذه العقد.

دعونا نتناول كل واحد منكv{\displaystyle k_{v}}أجزاء من العقدةv{\displaystyle v}وإنشاء متغيرات مؤشر مرتبطة بهاأناأنا(v،w){\displaystyle I_{i}^{(v,w)}}من أجلهم،أنا=1،...،كv{\displaystyle i=1,\ldots ,k_{v}}، معأناأنا(v،w)=1{\displaystyle I_{i}^{(v,w)}=1}إذاأنا{\displaystyle i}يتصل الفرع الفرعي رقم -th بأحدكw{\displaystyle k_{w}}أجزاء من العقدةw{\displaystyle w}في هذا الرسم البياني العشوائي المحدد. إذا لم يكن كذلك، فـأناأنا(v،w)=0{\displaystyle I_{i}^{(v,w)}=0}منذأنا{\displaystyle i}الجزء الفرعي رقم -th من العقدةv{\displaystyle v}يمكن الاتصال بأي من2م-1{\displaystyle 2m-1}البقايا المتبقية باحتمالية متساوية (بينمام{\displaystyle m}(عدد الحواف في الرسم البياني الأصلي)، وبما أن هناككw{\displaystyle k_{w}}الوصلات التي يمكن أن تتصل بها والمرتبطة بالعقدةw{\displaystyle w}، على ما يبدو

ص(أناأنا(v،w)=1)=هـ[أناأنا(v،w)]=كw2م-1{\displaystyle p(I_{i}^{(v,w)}=1)=E[I_{i}^{(v,w)}]={\frac {k_{w}}{2m-1}}}

العدد الإجمالي للحواف الكاملةجvw{\displaystyle J_{vw}}بينv{\displaystyle v}وw{\displaystyle w}هو مجردجvw=أنا=1كvأناأنا(v،w){\displaystyle J_{vw}=\sum _{i=1}^{k_{v}}I_{i}^{(v,w)}}إذن، القيمة المتوقعة لهذه الكمية هي

هـ[جvw]=هـ[أنا=1كvأناأنا(v،w)]=أنا=1كvهـ[أناأنا(v،w)]=أنا=1كvكw2م-1=كvكw2م-1{\displaystyle E[J_{vw}]=E\left[\sum _{i=1}^{k_{v}}I_{i}^{(v,w)}\right]=\sum _{i=1}^{k_{v}}E[I_{i}^{(v,w)}]=\sum _{i=1}^{k_{v}}{\frac {k_{w}}{2m-1}}={\frac {k_{v}k_{w}}{2m-1}}}

ثم تُجري العديد من النصوص التقريبات التالية، بالنسبة للشبكات العشوائية ذات العدد الكبير من الحواف. عندمام{\displaystyle m}إذا كانت كبيرة، فإنهم يتخلون عن طرح1{\displaystyle 1}في المقام أعلاه، واستخدم ببساطة التعبير التقريبيكvكw2م{\displaystyle {\frac {k_{v}k_{w}}{2m}}}بالنسبة للعدد المتوقع للحواف بين عقدتين. بالإضافة إلى ذلك، في شبكة عشوائية كبيرة، يكون عدد الحلقات الذاتية والحواف المتعددة ضئيلاً للغاية. [ 5 ] إن تجاهل الحلقات الذاتية والحواف المتعددة يسمح بافتراض وجود حافة واحدة على الأكثر بين أي عقدتين. في هذه الحالة،جvw{\displaystyle J_{vw}}يصبح متغيرًا ثنائيًا، لذا فإن قيمته المتوقعة هي أيضًا احتمال أن يساوي1{\displaystyle 1}وهذا يعني أنه يمكن تقريب احتمال وجود حافة بين العقد.v{\displaystyle v}وw{\displaystyle w}مثلكvكw2م{\displaystyle {\frac {k_{v}k_{w}}{2m}}}.

نمطية التصميم

وبالتالي، فإن الفرق بين العدد الفعلي للحواف بين العقدةv{\displaystyle v}وw{\displaystyle w}وعدد الحواف المتوقع بينهما هو

أvw-كvكw2م{\displaystyle A_{vw}-{\frac {k_{v}k_{w}}{2m}}}

بجمع جميع أزواج العقد نحصل على معادلة التنميط،سؤال{\displaystyle Q}[ 1 ]

تنطبق المعادلة 3 على التقسيم إلى مجموعتين فقط. يُعدّ التقسيم الهرمي (أي التقسيم إلى مجموعتين، ثم تقسيم المجموعتين الفرعيتين إلى مجموعتين فرعيتين أصغر لتحقيق أقصى قيمة لـ Q ) منهجًا ممكنًا لتحديد مجموعات متعددة في الشبكة. بالإضافة إلى ذلك، يمكن تعميم المعادلة (3) لتقسيم الشبكة إلى c مجموعة. [ 6 ]

حيث يمثل e ij نسبة الحواف التي يكون أحد طرفيها في المجموعة i والآخر في المجموعة j :

هـأناج=vwأvw2م1vجأنا1wجج{\displaystyle e_{ij}=\sum _{vw}{\frac {A_{vw}}{2m}}1_{v\in c_{i}}1_{w\in c_{j}}}

و a i هي نسبة نهايات الحواف المتصلة بالرؤوس في المجموعة i :

أأنا=كأنا2م=جهـأناج{\displaystyle a_{i}={\frac {k_{i}}{2m}}=\sum _{j}e_{ij}}

مثال على اكتشاف المجتمعات المتعددة

نحن نعتبر شبكة غير موجهة تحتوي على 10 عقد و 12 حافة ومصفوفة التجاور التالية.

الشكل 1. نموذج الشبكة المقابلة لمصفوفة التجاور مع 10 عقد و 12 حافة.
الشكل 2. تقسيمات الشبكة التي تزيد قيمة Q إلى أقصى حد. قيمة Q القصوى = 0.4896
معرّف العقدة12345678910
10110000001
21010000000
31100000000
40000110001
50001010000
60001100000
70000000111
80000001010
90000001100
101001001000

يتم تمثيل المجتمعات في الرسم البياني بواسطة مجموعات العقد الحمراء والخضراء والزرقاء في الشكل 1. يتم تصوير تقسيمات المجتمع المثلى في الشكل 2.

تركيبة المصفوفة

يُمكن صياغة مفهوم النمطية بشكل بديل، وهو مفيد بشكل خاص في خوارزميات التحسين الطيفي، كما يلي: [ 1 ] تعريفSvر{\displaystyle S_{vr}}يكون1{\displaystyle 1}إذا كان الرأسv{\displaystyle v}ينتمي إلى المجموعةر{\displaystyle r}و0{\displaystyle 0}وإلا.

دلتا(جv،جw)=رSvرSwر{\displaystyle \delta (c_{v},c_{w})=\sum _{r}S_{vr}S_{wr}}

وبالتالي

سؤال=12مvwر[أvw-كvكw2م]SvرSwر=12متير(SتيبS)،{\displaystyle Q={\frac {1}{2m}}\sum _{vw}\sum _{r}\left[A_{vw}-{\frac {k_{v}k_{w}}{2m}}\right]S_{vr}S_{wr}={\frac {1}{2m}}\mathrm {Tr} (\mathbf {S} ^{\mathrm {T} }\mathbf {BS} ),}

أينS{\displaystyle S}هي المصفوفة (غير المربعة) التي تحتوي على عناصرSv{\displaystyle S_{v}}وب{\displaystyle B}هي ما يسمى بمصفوفة النمطية، والتي تحتوي على عناصر

بvw=أvw-كvكw2م.{\displaystyle B_{vw}=A_{vw}-{\frac {k_{v}k_{w}}{2m}}.}

مجموع جميع صفوف وأعمدة مصفوفة التجزئة يساوي صفرًا، مما يعني أن تجزئة الشبكة غير المقسمة تكون دائمًا كذلك.0{\displaystyle 0}.

بالنسبة للشبكات المقسمة إلى مجتمعين فقط، يمكن تعريفها بشكل بديل على النحو التالي:sv=±1{\displaystyle s_{v}=\pm 1}للإشارة إلى المجتمع الذي تنتمي إليه العقدةv{\displaystyle v}ينتمي، مما يؤدي بعد ذلك إلى

سؤال=14مvwبvwsvsw=14مsتيبs،{\displaystyle Q={1 \over 4m}\sum _{vw}B_{vw}s_{v}s_{w}={1 \over 4m}\mathbf {s} ^{\mathrm {T} }\mathbf {Bs} ,}

أينs{\displaystyle s}هو متجه عمودي ذو عناصرsv{\displaystyle s_{v}}[ 1 ]

تتخذ هذه الدالة نفس شكل هاميلتونيان زجاج الدوران من نوع إيزينغ ، وهو ارتباط استُغلّ لإنشاء خوارزميات حاسوبية بسيطة، مثل استخدام التلدين المحاكي ، لزيادة التجزئة إلى أقصى حد. الشكل العام للتجزئة لأي عدد من المجتمعات يُكافئ زجاج الدوران من نوع بوتس، ويمكن تطوير خوارزميات مماثلة لهذه الحالة أيضًا. [ 7 ]

الإفراط في التخصيص

على الرغم من أن طريقة تعظيم النمطية تستند إلى حساب الانحراف عن النموذج الصفري، إلا أن هذا الانحراف لا يُحسب بطريقة متسقة إحصائيًا. [ 8 ] ولهذا السبب، تُعرف هذه الطريقة بإيجادها لمجموعات ذات درجات عالية في نموذجها الصفري [ 9 ] (نموذج التكوين)، وهو ما لا يمكن أن يكون ذا دلالة إحصائية بحكم التعريف. ونتيجة لذلك، لا يمكن استخدام هذه الطريقة للحصول على بنية مجتمعية ذات دلالة إحصائية في الشبكات التجريبية بشكل موثوق.

حد الدقة

تقارن خاصية التجزئة عدد الروابط داخل مجموعة ما بالعدد المتوقع للروابط في تلك المجموعة لو كانت الشبكة عشوائية بنفس عدد العقد، حيث تحتفظ كل عقدة بدرجة ارتباطها، بينما تُربط الروابط عشوائيًا. يفترض هذا النموذج الصفري العشوائي ضمنيًا إمكانية ربط كل عقدة بأي عقدة أخرى في الشبكة. إلا أن هذا الافتراض غير منطقي في الشبكات الكبيرة جدًا، إذ يشمل أفق العقدة جزءًا صغيرًا من الشبكة، متجاهلًا معظمها. علاوة على ذلك، يعني هذا أن العدد المتوقع للروابط بين مجموعتين من العقد يقل مع ازدياد حجم الشبكة. لذا، إذا كانت الشبكة كبيرة بما يكفي، فقد يكون العدد المتوقع للروابط بين مجموعتين من العقد في النموذج الصفري للتجزئة أقل من واحد. في هذه الحالة، ستفسر التجزئة وجود رابطة واحدة بين المجموعتين كدليل على وجود ارتباط قوي بينهما، وسيؤدي تحسين التجزئة إلى دمج المجموعتين، بغض النظر عن خصائصهما. لذا، حتى الرسوم البيانية الكاملة ذات الترابط الضعيف، والتي تتميز بأعلى كثافة ممكنة للحواف الداخلية، وتمثل أفضل المجتمعات القابلة للتحديد، سيتم دمجها بواسطة تحسين النمطية إذا كانت الشبكة كبيرة بما يكفي. [ 10 ] ولهذا السبب، فإن تحسين النمطية في الشبكات الكبيرة سيفشل في حل مشكلة المجتمعات الصغيرة، حتى عندما تكون محددة جيدًا. هذا التحيز أمر لا مفر منه بالنسبة لأساليب مثل تحسين النمطية، التي تعتمد على نموذج صفري شامل. [ 11 ]

أساليب متعددة الدقة

هناك منهجان رئيسيان لمحاولة حل مشكلة حد الدقة ضمن سياق النمطية: الأول هو إضافة مقاومة r لكل عقدة، على شكل حلقة ذاتية ، مما يزيد ( r > 0 ) أو يقلل ( r < 0 ) من نفور العقد من تكوين مجتمعات؛ [ 12 ] أو إضافة مُعامل γ > 0 أمام حد الحالة الصفرية في تعريف النمطية، والذي يتحكم في الأهمية النسبية بين الروابط الداخلية للمجتمعات والنموذج الصفري. [ 7 ] من خلال تحسين النمطية لقيم هذه المُعاملات في نطاقاتها المناسبة، يُمكن استعادة النطاق المتوسط ​​الكامل للشبكة، من النطاق الكلي الذي تنتمي فيه جميع العقد إلى نفس المجتمع، إلى النطاق الجزئي الذي تُشكّل فيه كل عقدة مجتمعها الخاص، ومن هنا جاء اسم طرق الدقة المتعددة . ومع ذلك، فقد تبيّن أن لهذه الطرق قيودًا عندما تكون المجتمعات غير متجانسة الحجم للغاية. [ 13 ]

أدوات البرمجيات

هناك عدد من أدوات البرمجيات المتاحة القادرة على حساب التجميعات في الرسوم البيانية ذات نمطية جيدة.

انظر أيضاً

مراجع

  1. 1 2 3 4 5 نيومان، إم إي جيه (2006). "النمطية وبنية المجتمع في الشبكات" . وقائع الأكاديمية الوطنية للعلوم في الولايات المتحدة الأمريكية . 103 (23): 8577-8696 . arXiv : physics/0602124 . Bibcode : 2006PNAS..103.8577N . doi : 10.1073 / pnas.0601602103 . PMC 1482622. PMID 16723398 .  
  2. نيومان، إم إي جيه (2007). بالغراف ماكميلان، باسينجستوك (محرر). "رياضيات الشبكات". موسوعة بالغراف الجديدة للاقتصاد ( الطبعة الثانية). 
  3. براندس، يو .؛ ديلينغ، دي.؛ غارتلر، إم.؛ غوركي، آر.؛ هوفر، إم.؛ نيكولوسكي، زد.؛ فاغنر، دي. (فبراير 2008). "حول تجميع الوحدات النمطية" . معاملات IEEE في هندسة المعرفة والبيانات . 20 (2): 172-188 . doi : 10.1109/TKDE.2007.190689 . S2CID 150684 . 
  4. فان دير هوفستاد، ريمكو (2013). "الفصل 7" (ملف PDF) . الرسوم البيانية العشوائية والشبكات المعقدة . مؤرشف (ملف PDF) من الأصل بتاريخ 18-12-2013 . تم الاطلاع عليه بتاريخ 08-12-2013 .
  5. ^ “علم الشبكات” . ألبرت لازلو باراباسي. مؤرشفة من الأصلي بتاريخ 2020-03-05 . تم الاسترجاع 2020-03-20 .
  6. كلاوسيت، آرون ونيومان، إم إي جيه ومور ، كريستوفر (2004). "إيجاد بنية المجتمع في الشبكات الكبيرة جدًا". مجلة الفيزياء E. 70 ( 6) 066111. arXiv : cond-mat/0408187 . Bibcode : 2004PhRvE..70f6111C . doi : 10.1103/PhysRevE.70.066111 . PMID 15697438. S2CID 8977721 .  {{cite journal}}: صيانة CS1: أسماء متعددة: قائمة المؤلفين ( رابط )
  7. 1 2 يورغ رايشاردت وستيفان بورنهولت (2006). "الميكانيكا الإحصائية للكشف عن المجتمعات". مجلة Physical Review E. 74 ( 1) 016110. arXiv : cond-mat/0603718 . Bibcode : 2006PhRvE..74a6110R . doi : 10.1103 /PhysRevE.74.016110 . PMID 16907154. S2CID 792965 .  
  8. بيكسوتو، تياجو ب. (2023). الكشف الوصفي مقابل الكشف الاستدلالي عن المجتمعات في الشبكات . arXiv : 2112.00183 . doi : 10.1017/9781009118897 . ISBN 978-1-009-11889-7.
  9. غيميرا، روجر؛ ساليس-باردو، مارتا (19 أغسطس 2004)، "النمطية من التقلبات في الرسوم البيانية العشوائية والشبكات المعقدة"، مجلة Physical Review ، 70 (2) 025101، arXiv : cond-mat/0403660 ، Bibcode : 2004PhRvE..70b5101G ، doi : 10.1103/PhysRevE.70.025101 ، PMC 2441765 ، PMID 15447530  
  10. سانتو فورتوناتو ومارك بارتيليمي (2007). "حدود الدقة في الكشف عن التجمعات" . وقائع الأكاديمية الوطنية للعلوم في الولايات المتحدة الأمريكية . 104 (1): 36-41 . arXiv : physics/0607100 . Bibcode : 2007PNAS..104...36F . doi : 10.1073 / pnas.0605965104 . PMC 1765466. PMID 17190818 .  
  11. كومبولا، ج. م.؛ ساراماكي، ج.؛ كاسكي، ك.؛ وكيرتيس، ج. (2007). "دقة محدودة في الكشف عن مجتمعات الشبكات المعقدة باستخدام نموذج بوتس". المجلة الأوروبية للفيزياء ب . 56 (1): 41-45 . arXiv : cond-mat/0610370 . Bibcode : 2007EPJB...56...41K . doi : 10.1140/epjb/e2007-00088-4 . S2CID 4411525 . 
  12. أليكس أريناس، ألبرتو فرنانديز، وسيرجيو غوميز (2008). "تحليل بنية الشبكات المعقدة عند مستويات دقة مختلفة". مجلة الفيزياء الجديدة . 10 (5) 053039. arXiv : physics/0703218 . Bibcode : 2008NJPh...10e3039A . doi : 10.1088/1367-2630/10/5/053039 . S2CID 11544197 . 
  13. أندريا لانشينيتي وسانتو فورتوناتو (2011). "حدود تعظيم النمطية في اكتشاف المجتمعات". مجلة Physical Review E. 84 ( 6) 066122. arXiv : 1107.1155 . Bibcode : 2011PhRvE..84f6122L . doi : 10.1103/PhysRevE.84.066122 . PMID 22304170. S2CID 16180375 .  
  14. أول تطبيق لخوارزمية لوفان ، مؤرشف من الأصل بتاريخ 17-03-2021 ، تم استرجاعه بتاريخ 30-11-2020
  15. مستودع خوارزميات لايدن ، 15 ديسمبر 2021، مؤرشف من الأصل في 26 نوفمبر 2020 ، تم استرجاعه في 30 نوفمبر 2020
  16. مستودع تجميع الرسوم البيانية فيينا ، 13 أبريل 2021، مؤرشف من الأصل في 21 أكتوبر 2020 ، تم استرجاعه في 30 نوفمبر 2020