مؤشر جاكارد

تقاطع واتحاد مجموعتين A و B
التقاطع على الاتحاد كمقياس للتشابه للكشف عن الكائنات في الصور - مهمة مهمة في مجال رؤية الكمبيوتر . 

مؤشر جاكارد هو إحصائية تُستخدم لقياس التشابه والتنوع بين مجموعات العينات . ويُعرَّف بشكل عام بأنه نسبة حجمين (مساحتين أو حجمين)، أي حجم التقاطع مقسومًا على حجم الاتحاد، ويُسمى أيضًا نسبة التقاطع إلى الاتحاد ( IoU ).

طُرح هذا المفهوم لأول مرة من قِبل غروف كارل جيلبرت عام 1884 تحت مسمى "نسبة التحقق" في سياق تقييم التنبؤات الجيولوجية. [ 1 ] ويُطلق عليه الآن غالبًا مؤشر النجاح الحاسم في علم الأرصاد الجوية. [ 2 ] ثم طُوّر لاحقًا بشكل مستقل من قِبل بول جاكارد ، الذي أطلق عليه في الأصل الاسم الفرنسي coefficient de communauté (معامل المجتمع)، [ 3 ] [ 4 ] وصاغه تافي تاداشي تانيموتو بشكل مستقل مرة أخرى. [ 5 ] ولذلك، يُطلق عليه أيضًا مؤشر تانيموتو أو معامل تانيموتو في بعض المجالات.

ملخص

يقيس مؤشر جاكارد التشابه بين مجموعات العينات المحدودة غير الفارغة، ويُعرَّف بأنه حجم التقاطع مقسومًا على حجم اتحاد مجموعات العينات:

ج(أ،ب)=|أب||أب|=|أب||أ|+|ب|-|أب|.{\displaystyle J(A,B)={\frac {|A\cap B|}{|A\cup B|}}={\frac {|A\cap B|}{|A|+|B|-|A\cap B|}}.}

يمكن تفسير مؤشر جاكارد على أنه مقياس معياري للتداخل بين مجموعتين، حيث يمثل التقاطع العناصر المشتركة، ويمثل الاتحاد المجموعة الكاملة من العناصر المتميزة. بحسب التعريف،0ج(أ،ب)1.{\displaystyle 0\leq J(A,B)\leq 1.}إذا كانت المجموعاتأ{\displaystyle A}وب{\displaystyle B}ليس لديهم عناصر مشتركة، تقاطعهم فارغ، لذلك|أب|=0{\displaystyle |A\cap B|=0}وبالتاليج(أ،ب)=0.{\displaystyle J(A,B)=0.}أما النقيض الآخر فهو أن تكون المجموعتان متساويتين. في هذه الحالةأب=أب=أ=ب،{\displaystyle A\cap B=A\cup B=A=B,}إذنج(أ،ب)=1.{\displaystyle J(A,B)=1.}يُستخدم مؤشر جاكارد على نطاق واسع في علوم الحاسوب، وعلم البيئة، وعلم الجينوم، وغيرها من العلوم التي تستخدم البيانات الثنائية أو البيانات المُحوّلة إلى بيانات ثنائية. [ 6 ] [ 7 ]

يتوفر كل من الحل الدقيق وطرق التقريب لاختبار الفرضيات باستخدام مؤشر جاكارد. [ 8 ] ينطبق تشابه جاكارد أيضًا على المجموعات المتعددة . وله صيغة مشابهة، [ 9 ] لكن الرموز المستخدمة تمثل تقاطع المجموعات ومجموعها (وليس اتحادها). القيمة القصوى هي 1/2.

ج(أ،ب)=|أب||أب|=|أب||أ|+|ب|.{\displaystyle J(A,B)={\frac {|A\cap B|}{|A\uplus B|}}={\frac {|A\cap B|}{|A|+|B|}}.}

تُعد مسافة جاكارد ، التي تقيس عدم التشابه بين مجموعات العينات، مكملاً لمؤشر جاكارد ويتم الحصول عليها عن طريق طرح مؤشر جاكارد من 1 أو، بشكل مكافئ، عن طريق قسمة الفرق بين حجمي الاتحاد والتقاطع لمجموعتين على حجم الاتحاد:

دج(أ،ب)=1-ج(أ،ب)=|أب|-|أب||أب|.{\displaystyle d_{J}(A,B)=1-J(A,B)={\frac {|A\cup B|-|A\cap B|}{|A\cup B|}}.}

يُمكن تفسير مسافة جاكارد بطريقة بديلة على أنها نسبة حجم الفرق المتناظرأب=(أب)-(أب){\displaystyle A\mathbin {\triangle } B=(A\cup B)-(A\cap B)}إلى الاتحاد. تُستخدم مسافة جاكارد عادةً لحساب مصفوفة n × n للتجميع والتحجيم متعدد الأبعاد لمجموعات العينات n . تُستخدم مقاييس المسافة هذه بشكل شائع في تحليل التجميع لتجميع الملاحظات المتشابهة. [ 10 ]

هذه المسافة هي مقياس على مجموعة جميع المجموعات المنتهية. [ 11 ] [ 12 ] [ 13 ]

يوجد أيضًا إصدار من مسافة جاكارد للقياسات ، بما في ذلك قياسات الاحتمالية . إذاμ{\displaystyle \mu }هو مقياس على مساحة قابلة للقياسX{\displaystyle X}ثم نُعرّف مؤشر جاكارد بواسطة

جμ(أ،ب)=μ(أب)μ(أب)،{\displaystyle J_{\mu }(A,B)={\frac {\mu (A\cap B)}{\mu (A\cup B)}},}

ومسافة جاكارد بواسطة

دμ(أ،ب)=1-جμ(أ،ب)=μ(أب)μ(أب).{\displaystyle d_{\mu }(A,B)=1-J_{\mu }(A,B)={\frac {\mu (A\mathbin {\triangle } B)}{\mu (A\cup B)}}.}

التعريف غير واضح عندماμ(أب)=0{\displaystyle \mu (A\cup B)=0}أوμ(أب)={\displaystyle \mu (A\cup B)=\infty }.

يمكن استخدام مخطط التجزئة الحساسة للموقع MinHash min -wise independent permutations لحساب تقدير دقيق لمؤشر تشابه جاكارد لأزواج المجموعات بكفاءة، حيث يتم تمثيل كل مجموعة بتوقيع ثابت الحجم مشتق من القيم الدنيا لدالة التجزئة .

يُعد مؤشر جاكارد مفيدًا بشكل خاص لتحليل مجموعات البيانات واسعة النطاق والمتفرقة في تطبيقات استخراج البيانات الحديثة . [ 14 ]

تشابه السمات الثنائية غير المتماثلة

بافتراض وجود كائنين، A و B ، لكل منهما n سمة ثنائية ، يُعدّ مؤشر جاكارد مقياسًا مفيدًا لمدى التداخل بين A و B في سماتهما. يمكن أن تكون قيمة كل سمة من سمات A و B إما 0 أو 1. ويُحدد العدد الإجمالي لكل تركيبة من السمات لكل من A و B كما يلي:

م11{\displaystyle M_{11}}يمثل العدد الإجمالي للسمات التي يكون فيها كل من A و B بقيمة 1.
م01{\displaystyle M_{01}}يمثل العدد الإجمالي للسمات حيث تكون سمة A هي 0 وسمة B هي 1.
م10{\displaystyle M_{10}}يمثل العدد الإجمالي للسمات حيث تكون سمة A هي 1 وسمة B هي 0.
م٠٠{\displaystyle M_{00}}يمثل العدد الإجمالي للسمات التي تكون فيها قيمة كل من A و B تساوي 0.
أ
ب
01
0م٠٠{\displaystyle M_{00}}م10{\displaystyle M_{10}}
1م01{\displaystyle M_{01}}م11{\displaystyle M_{11}}

يجب أن تندرج كل سمة ضمن إحدى هذه الفئات الأربع، مما يعني أن

م11+م01+م10+م٠٠=ن.{\displaystyle M_{11}+M_{01}+M_{10}+M_{00}=n.}

يُعطى مؤشر جاكارد للتشابه، J ، على النحو التالي:

ج=م11م01+م10+م11.{\displaystyle J={M_{11} \over M_{01}+M_{10}+M_{11}}.}

تُعطى مسافة جاكارد، dJ ، على النحو التالي:

دج=م01+م10م01+م10+م11=1-ج.{\displaystyle d_{J}={M_{01}+M_{10} \over M_{01}+M_{10}+M_{11}}=1-J.}

يمكن الاستدلال الإحصائي بناءً على مؤشر جاكارد للتشابه، وبالتالي المقاييس ذات الصلة. [ 8 ] عند وجود مجموعتين من العينات A و B تحتوي كل منهما على n سمة، يمكن إجراء اختبار إحصائي لمعرفة ما إذا كان التداخل بينهما ذا دلالة إحصائية . يتوفر الحل الدقيق، على الرغم من أن الحساب قد يكون مكلفًا مع ازدياد n . [ 8 ] تتوفر طرق التقدير إما بتقريب التوزيع متعدد الحدود أو باستخدام أسلوب إعادة التوزيع (Bootstrap) . [ 8 ]

الفرق مع مؤشر المطابقة البسيط (SMC)

عند استخدام مؤشر جاكارد للسمات الثنائية، يكون مشابهًا جدًا لمعامل المطابقة البسيط . والفرق الرئيسي هو أن معامل المطابقة البسيط يحتوي على مصطلحم٠٠{\displaystyle M_{00}}في بسطها ومقامها، بينما لا يفعل مؤشر جاكارد ذلك. وبالتالي، فإن SMC يحسب كلاً من حالات التواجد المتبادل (عندما تكون السمة موجودة في كلتا المجموعتين) وحالات الغياب المتبادل (عندما تكون السمة غائبة في كلتا المجموعتين) كمطابقات ويقارنها بالعدد الإجمالي للسمات في الكون، بينما يحسب مؤشر جاكارد حالات التواجد المتبادل فقط كمطابقات ويقارنها بعدد السمات التي تم اختيارها بواسطة مجموعة واحدة على الأقل من المجموعتين.

في تحليل سلة التسوق ، على سبيل المثال، قد لا تحتوي سلة مستهلكين نرغب في مقارنتهما إلا على جزء صغير من جميع المنتجات المتاحة في المتجر، لذا فإن نموذج SMC عادةً ما يُظهر قيمًا عالية جدًا للتشابه حتى عندما تكون السلال متشابهة بشكل ضئيل للغاية. قد يكون هذا غير مناسب في مجموعات البيانات المتفرقة حيثم٠٠{\displaystyle M_{00}}عادةً ما تكون قيمة معامل التشابه كبيرة، مما يجعل مؤشر جاكارد مقياسًا أنسب للتشابه في هذا السياق. على سبيل المثال، لنفترض وجود سوبر ماركت يحتوي على 1000 منتج وزبونين. سلة الزبون الأول تحتوي على الملح والفلفل، وسلة الزبون الثاني تحتوي على الملح والسكر. في هذه الحالة، يكون التشابه بين السلتين، وفقًا لمؤشر جاكارد، 1/3، بينما يصبح 0.998 باستخدام طريقة SMC.

في سياقات أخرى، حيث يحمل الصفر والواحد معلومات متكافئة (التناظر)، يُعدّ مقياس التشابه المعياري (SMC) مقياسًا أفضل للتشابه. على سبيل المثال، تُقارن متجهات المتغيرات الديموغرافية المخزنة في متغيرات وهمية ، كالجنس، بشكل أفضل باستخدام مقياس التشابه المعياري (SMC) مقارنةً بمؤشر جاكارد، نظرًا لأن تأثير الجنس على التشابه يكون متساويًا، بغض النظر عما إذا كان الذكر يُعرَّف بالصفر والأنثى بالواحد أو العكس. مع ذلك، عند وجود متغيرات وهمية متناظرة، يُمكن محاكاة سلوك مقياس التشابه المعياري (SMC) بتقسيم المتغيرات الوهمية إلى سمتين ثنائيتين (في هذه الحالة، ذكر وأنثى)، ما يُحوّلها إلى سمات غير متناظرة، ويُتيح استخدام مؤشر جاكارد دون إدخال أي تحيز. ومع ذلك، يظل مقياس التشابه المعياري (SMC) أكثر كفاءة حسابية في حالة المتغيرات الوهمية المتناظرة، لأنه لا يتطلب إضافة أبعاد إضافية.

يُستخدم مؤشر جاكارد عادةً للبيانات الثنائية غير المتماثلة أو بيانات الحضور والغياب، حيث يُعتبر وجود سمة ما أكثر دلالة من غيابها. في مثل هذه البيانات، تُعامل حالات الغياب المشتركة على أنها غير ذات دلالة وتُستبعد من الحساب. هذا يجعل المقياس مناسبًا بشكل خاص للبيانات الثنائية المتفرقة التي يكون فيها ظهور سمة ما أكثر أهمية من عدم ظهورها. أما بالنسبة للمتغيرات الثنائية المتماثلة، فقد تُفضل مقاييس مثل معامل المطابقة البسيط لأنها تحسب كلاً من حالات الحضور المشتركة وحالات الغياب المشتركة. [ 15 ] وقد نوقش التمييز بين مقاييس التشابه التي تتضمن أو تستبعد حالات الغياب المشتركة على نطاق واسع في أدبيات التصنيف العددي والتصنيف. [ 16 ] يُعرَّف مؤشر جاكارد على النحو التالي:

ج(أ،ب)=م11م11+م10+م01{\displaystyle J(A,B)={\frac {M_{11}}{M_{11}+M_{10}+M_{01}}}}

أينم11{\displaystyle M_{11}}هو عدد السمات التي تكون فيها كلتا القيمتين 1،م10{\displaystyle M_{10}}حيث A فقط يساوي 1، وم01{\displaystyle M_{01}}حيث B فقط يساوي 1.

تشابه ومسافة جاكارد الموزون

لوx=(x1،x2،...،xن){\displaystyle \mathbf {x} =(x_{1},x_{2},\ldots ,x_{n})}وy=(y1،y2،...،yن){\displaystyle \mathbf {y} =(y_{1},y_{2},\ldots ,y_{n})}هما متجهان جميع عناصرهما حقيقيةxأنا،yأنا0{\displaystyle x_{i},y_{i}\geq 0}ثم يُعرَّف مؤشر تشابه جاكارد (المعروف أيضًا باسم تشابه روزيكا ) على النحو التالي:

جدبليو(x،y)=أنامين(xأنا،yأنا)أناالأعلى(xأنا،yأنا)،{\displaystyle J_{\mathcal {W}}(\mathbf {x} ,\mathbf {y} )={\frac {\sum _{i}\min(x_{i},y_{i})}{\sum _{i}\max(x_{i},y_{i})}},}

ومسافة جاكارد (المعروفة آنذاك أيضًا باسم مسافة سورجل)

دجدبليو(x،y)=1-جدبليو(x،y).{\displaystyle d_{J{\mathcal {W}}}(\mathbf {x} ,\mathbf {y} )=1-J_{\mathcal {W}}(\mathbf {x} ,\mathbf {y} ).}

وبشكل أكثر عمومية، إذاو{\displaystyle f}وز{\displaystyle g}دالتان قابلتان للقياس وغير سالبتين على فضاء قابل للقياسX{\displaystyle X}مع القياسμ{\displaystyle \mu }ثم يمكننا تعريف

جدبليو(و،ز)=مين(و،ز)دμالأعلى(و،ز)دμ،{\displaystyle J_{\mathcal {W}}(f,g)={\frac {\int \min(f,g)d\mu }{\int \max(f,g)d\mu }},}

أينالأعلى{\displaystyle \max }ومين{\displaystyle \min }هي عوامل نقطية. إذن، مسافة جاكارد هي

دجدبليو(و،ز)=1-جدبليو(و،ز).{\displaystyle d_{J{\mathcal {W}}}(f,g)=1-J_{\mathcal {W}}(f,g).}

ثم، على سبيل المثال، بالنسبة لمجموعتين قابلتين للقياسأ،بX{\displaystyle A,B\subseteq X}لديناجμ(أ،ب)=ج(χأ،χب)،{\displaystyle J_{\mu }(A,B)=J(\chi _{A},\chi _{B}),}أينχأ{\displaystyle \chi _{A}}وχب{\displaystyle \chi _{B}}هي الدوال المميزة للمجموعة المقابلة.

مقارنة معدلات النمو لتعقيد الخوارزمية. يتبع ذلك حساب جاكارد القياسييا(ن){\displaystyle O(n)}، بينما يسمح التحسين المتفرق بتوسيع وقت المعالجة بما يتناسب مع عدد السمات غير الصفرية.

يتطلب حساب مؤشر جاكارد الموزون للتشابه بين متجهين عادةً تمريرة واحدة على البيانات، مما ينتج عنه تعقيد حسابي خطي.يا(ن){\displaystyle O(n)}، أينن{\displaystyle n}يمثل عدد الأبعاد. في تطبيقات علم البيانات ، غالبًا ما يتم تحسين هذا للمتجهات المتفرقة من خلال التكرار فقط على العناصر غير الصفرية، مما يقلل بشكل كبير من وقت المعالجة لمجموعات البيانات عالية الأبعاد. هذا التحسين ينقل التعقيد إلىيا(ك){\displaystyle O(k)}، أينك{\displaystyle k}يمثل عدد السمات غير الصفرية.

# خوارزمية زائفة لحساب دالة ذات تعقيد O(k) jaccardIndex ( vector_A , vector_B ): intersection_sum = 0 union_sum = 0# الحصول على إجمالي المفاتيح الفريدة all_keys = unique_keys ( vector_A . keys () + vector_B . keys ())for key in all_keys : val_a = vector_A . get ( key , 0 ) val_b = vector_B . get ( key , 0 )intersection_sum += min ( val_a , val_b ) union_sum += max ( val_a , val_b )إرجاع مجموع التقاطع / مجموع الاتحاد

لزيادة سرعة المعالجة، تُستخدم تقنيات مثل MinHashing والتجزئة الحساسة للموقع لتقريب الفهرس باستخدام توقيعات مضغوطة. تضمن هذه التحسينات الخوارزمية بقاء مقاييس التشابه قابلة للتوسع وفعالة، على الرغم من زيادة حجم البيانات وأبعادها. [ 17 ]

احتمالية تشابه جاكارد والمسافة

إن تشابه جاكارد الموزون الموصوف أعلاه يعمم مؤشر جاكارد إلى المتجهات الموجبة، حيث تتوافق المجموعة مع متجه ثنائي معطى بواسطة دالة المؤشر ، أيxأنا{0،1}{\displaystyle x_{i}\in \{0,1\}}ومع ذلك، لا يُعمم مؤشر جاكارد على التوزيعات الاحتمالية ، حيث تتوافق مجموعة مع توزيع احتمالي منتظم، أي

xأنا={1|X|أناX0خلاف ذلك{\displaystyle x_{i}={\begin{cases}{\frac {1}{|X|}}&i\in X\\0&{\text{otherwise}}\end{cases}}}

يكون العدد أقل دائمًا إذا اختلفت المجموعات في الحجم.|X|>|Y|{\displaystyle |X|>|Y|}، وxأنا=1X(أنا)/|X|،yأنا=1Y(أنا)/|Y|{\displaystyle x_{i}=\mathbf {1} _{X}(i)/|X|,y_{i}=\mathbf {1} _{Y}(i)/|Y|}ثم

جدبليو(x،y)=|XY||XY|+|X|<ج(X،Y).{\displaystyle J_{\mathcal {W}}(x,y)={\frac {|X\cap Y|}{|X\setminus Y|+|X|}}<J(X,Y).}
يمكن تفسير مؤشر جاكارد الاحتمالي على أنه تقاطعات بين الأشكال البسيطة.

بدلاً من ذلك، فإن التعميم المستمر بين التوزيعات الاحتمالية ومجموعات الدعم المقابلة لها هو

جP(x،y)=xأنا0،yأنا01جالأعلى(xجxأنا،yجyأنا){\displaystyle J_{\mathcal {P}}(x,y)=\sum _{x_{i}\neq 0,y_{i}\neq 0}{\frac {1}{\sum _{j}\max \left({\frac {x_{j}}{x_{i}}},{\frac {y_{j}}{y_{i}}}\right)}}}

وهو ما يسمى بمعامل جاكارد "الاحتمالي". [ 18 ] وله الحدود التالية مقارنة بمعامل جاكارد الموزون على متجهات الاحتمال.

جدبليو(x،y)جP(x،y)2جدبليو(x،y)1+جدبليو(x،y){\displaystyle J_{\mathcal {W}}(x,y)\leq J_{\mathcal {P}}(x,y)\leq {\frac {2J_{\mathcal {W}}(x,y)}{1+J_{\mathcal {W}}(x,y)}}}

هنا، يمثل الحد الأعلى معامل سورنسن-دايس (المرجح) . المسافة المقابلة،1-جP(x،y){\displaystyle 1-J_{\mathcal {P}}(x,y)}، هو مقياس على التوزيعات الاحتمالية، ومقياس زائف على المتجهات غير السالبة.

يُفسَّر مؤشر جاكارد الاحتمالي هندسيًا على أنه مساحة تقاطع الأشكال البسيطة . كل نقطة على وحدةك{\displaystyle k}يتوافق -simplex مع توزيع احتمالي علىك+1{\displaystyle k+1}العناصر، لأن الوحدةك{\displaystyle k}-simplex هي مجموعة النقاط فيك+1{\displaystyle k+1}الأبعاد التي مجموعها يساوي 1. لاستنتاج مؤشر جاكارد الاحتمالي هندسيًا، يُمثَّل التوزيع الاحتمالي على أنه مُجَسَّم بسيط مُقسَّم إلى مُجَسَّمات فرعية وفقًا لكتلة كل عنصر. إذا قمتَ بتراكب توزيعين مُمَثَّلين بهذه الطريقة فوق بعضهما البعض، وتقاطعت المُجَسَّمات المُقابلة لكل عنصر، فإن المساحة المتبقية تُساوي مؤشر جاكارد الاحتمالي للتوزيعين.

أمثلية مؤشر جاكارد الاحتمالي

دليل مرئي على مثالية مؤشر جاكارد الاحتمالي على توزيعات العناصر الثلاثة.

لنفترض مشكلة بناء متغيرات عشوائية بحيث تتصادم مع بعضها البعض قدر الإمكان. أي، إذاXx{\displaystyle X\sim x}وYy{\displaystyle Y\sim y}نرغب في بناءX{\displaystyle X}وY{\displaystyle Y}لتحقيق أقصى استفادةبرو[X=Y]{\displaystyle \Pr[X=Y]}إذا نظرنا إلى توزيعين فقطx،y{\displaystyle x,y}في العزلة، الأعلىبرو[X=Y]{\displaystyle \Pr[X=Y]}ما يمكننا تحقيقه هو ما يُعطى بواسطة1-تلفزيون(x،y){\displaystyle 1-{\text{TV}}(x,y)}أينتلفزيون{\displaystyle {\text{TV}}}هي مسافة التباين الكلي . مع ذلك، لنفترض أننا لا نهتم فقط بتعظيم هذا الزوج المحدد، بل لنفترض أننا نرغب في تعظيم احتمالية تصادم أي زوج عشوائي. يمكن للمرء إنشاء عدد لا نهائي من المتغيرات العشوائية، متغير واحد لكل توزيع.x{\displaystyle x}والسعي إلى تحقيق أقصى قدر من الفائدةبرو[X=Y]{\displaystyle \Pr[X=Y]}لجميع الأزواجx،y{\displaystyle x,y}. بمعنى قوي إلى حد ما كما هو موضح أدناه، فإن مؤشر جاكارد الاحتمالي هو الطريقة المثلى لمواءمة هذه المتغيرات العشوائية.

لأي طريقة من طرق أخذ العيناتجي{\displaystyle G}والتوزيعات المنفصلةx،y{\displaystyle x,y}، لوبرو[جي(x)=جي(y)]>جP(x،y){\displaystyle \Pr[G(x)=G(y)]>J_{\mathcal {P}}(x,y)}ثم بالنسبة للبعضz{\displaystyle z}أينجP(x،z)>جP(x،y){\displaystyle J_{\mathcal {P}}(x,z)>J_{\mathcal {P}}(x,y)}وجP(y،z)>جP(x،y){\displaystyle J_{\mathcal {P}}(y,z)>J_{\mathcal {P}}(x,y)}، أيضاًبرو[جي(x)=جي(z)]<جP(x،z){\displaystyle \Pr[G(x)=G(z)]<J_{\mathcal {P}}(x,z)}أوبرو[جي(y)=جي(z)]<جP(y،z){\displaystyle \Pr[G(y)=G(z)]<J_{\mathcal {P}}(y,z)}[ 18 ]

أي أنه لا توجد طريقة لأخذ العينات يمكنها تحقيق تصادمات أكثر منجP{\displaystyle J_{\mathcal {P}}}على زوج واحد دون تحقيق عدد تصادمات أقل منجP{\displaystyle J_{\mathcal {P}}}على زوج آخر، حيث يكون الزوج المختزل أكثر تشابهاً في ظلجP{\displaystyle J_{\mathcal {P}}}أكثر من الزوج المُحسَّن. هذه النظرية صحيحة بالنسبة لمؤشر جاكارد للمجموعات (إذا فُسِّر على أنه توزيعات منتظمة) وجاكارد الاحتمالي، ولكنها غير صحيحة بالنسبة لجاكارد الموزون. (تستخدم النظرية مصطلح "طريقة المعاينة" لوصف التوزيع المشترك على جميع التوزيعات في فضاء ما، لأنها مستمدة من استخدام خوارزميات التجزئة المصغرة الموزونة التي تحقق ذلك كاحتمالية تصادم).

تحتوي هذه النظرية على برهان مرئي على توزيعات العناصر الثلاثة باستخدام تمثيل سيمبلكس.

تشابه تانيموتو والمسافة

تظهر في الأدبيات وعلى الإنترنت أشكالٌ مختلفةٌ من الدوال التي تُوصف بأنها تشابه تانيموتو ومسافة تانيموتو. معظم هذه الدوال مرادفاتٌ لتشابه جاكارد ومسافة جاكارد، لكن بعضها يختلف رياضيًا. تشير العديد من المصادر [ 19 ] إلى تقريرٍ فنيٍّ من شركة IBM [ 5 ] باعتباره المرجع الأساسي.

في كتاب " برنامج حاسوبي لتصنيف النباتات"، المنشور في أكتوبر 1960، [ 20 ] تم تقديم طريقة تصنيف تعتمد على نسبة التشابه، ودالة مسافة مشتقة. ويبدو أن هذا الكتاب هو المرجع الأكثر موثوقية لمعنى مصطلحي "تشابه تانيموتو" و"مسافة تانيموتو". نسبة التشابه مكافئة لتشابه جاكارد، لكن دالة المسافة تختلف عن مسافة جاكارد.

تعريفات تانيموتو للتشابه والمسافة

في تلك الورقة البحثية، تم تقديم "نسبة تشابه" على الخرائط النقطية ، حيث يمثل كل بت في مصفوفة ذات حجم ثابت وجود أو غياب سمة معينة في النظام قيد النمذجة. تعريف هذه النسبة هو عدد البتات المشتركة مقسومًا على عدد البتات المُفعّلة ( أي غير الصفرية) في أي من العينتين.

إذا عُرضت النتائج بعبارات رياضية، إذا كانت العينات X و Y عبارة عن صور نقطية،Xأنا{\displaystyle X_{i}}يمثل الجزء رقم i من X ، و،{\displaystyle \land ,\lor }إذا كانت المعاملات المنطقية AND و OR على التوالي، فإن نسبة التشابهتيs{\displaystyle T_{s}}يكون

تيs(X،Y)=أنا(XأناYأنا)أنا(XأناYأنا){\displaystyle T_{s}(X,Y)={\frac {\sum _{i}(X_{i}\land Y_{i})}{\sum _{i}(X_{i}\lor Y_{i})}}}

إذا تم نمذجة كل عينة كمجموعة من السمات، فإن هذه القيمة تساوي مؤشر جاكارد للمجموعتين. لم يُذكر مؤشر جاكارد في الورقة البحثية، ويبدو أن المؤلفين لم يكونوا على دراية به.

ويستمر تانيموتو في تعريف "المسافة" بناءً على هذه النسبة، والتي تم تعريفها للصور النقطية ذات التشابه غير الصفري:

تيد(X،Y)=-سجل2(تيs(X،Y)){\displaystyle T_{d}(X,Y)=-\log _{2}(T_{s}(X,Y))}

هذا المعامل، عن قصد، ليس مقياسًا للمسافة. تم اختياره للسماح بإمكانية تشابه عينتين مختلفتين تمامًا مع عينة ثالثة. من السهل إيجاد مثال يُفنّد خاصية متباينة المثلث .

تعريفات أخرى لمسافة تانيموتو

غالباً ما يُشار إلى مسافة تانيموتو على أنها مرادف لمسافة جاكارد1-تيs{\displaystyle 1-T_{s}}تُعدّ هذه الدالة مقياسًا مناسبًا للمسافة. في التطبيقات العملية، قد يُخلط بين مسافة تانيموتو ومسافة جاكارد، مما يُؤدي إلى الخلط بينهما وبين مقياس المسافة الصحيح.

إذا تم التعبير عن تشابه جاكارد أو تانيموتو على متجه ثنائي، فيمكن كتابته على النحو التالي:

و(أ،ب)=أبأ2+ب2-أب{\displaystyle f(A,B)={\frac {A\cdot B}{\|A\|^{2}+\|B\|^{2}-A\cdot B}}}

حيث يتم التعبير عن نفس الحساب بدلالة الضرب القياسي للمتجه والمقدار. يعتمد هذا التمثيل على حقيقة أنه بالنسبة لمتجه ثنائي (حيث تكون قيمة كل بُعد إما 0 أو 1) فإن

أب=أناأأنابأنا=أنا(أأنابأنا){\displaystyle A\cdot B=\sum _{i}A_{i}B_{i}=\sum _{i}(A_{i}\land B_{i})}

و

أ2=أناأأنا2=أناأأنا.{\displaystyle \|A\|^{2}=\sum _{i}A_{i}^{2}=\sum _{i}A_{i}.}

هذا تمثيل قد يكون مُربكًا، لأن الدالة كما تُعبَّر عنها على المتجهات تكون أكثر عمومية، ما لم يتم تقييد نطاقها بشكل صريح. خصائصتيs{\displaystyle T_{s}}لا تمتد بالضرورة إلىو{\displaystyle f}. وعلى وجه الخصوص، دالة الفرق1-و{\displaystyle 1-f}لا يحافظ على متباينة المثلث ، وبالتالي فهو ليس مقياس مسافة مناسبًا، بينما1-تيs{\displaystyle 1-T_{s}}يكون.

هناك خطر حقيقي يتمثل في أن الجمع بين تعريف "مسافة تانيموتو" باستخدام هذه الصيغة، إلى جانب عبارة "مسافة تانيموتو هي مقياس مسافة مناسب"، سيؤدي إلى استنتاج خاطئ مفاده أن الدالة1-و{\displaystyle 1-f}في الواقع، هو مقياس مسافة على المتجهات أو المجموعات المتعددة بشكل عام، في حين أن استخدامه في خوارزميات البحث عن التشابه أو التجميع قد يفشل في إنتاج نتائج صحيحة.

يستخدم ليبكوس [ 12 ] تعريفًا لتشابه تانيموتو وهو مكافئ لـو{\displaystyle f}ويشير إلى مسافة تانيموتو كدالة1-و{\displaystyle 1-f}ومع ذلك، يتضح في الورقة أن السياق مقيد باستخدام متجه ترجيح (موجب).دبليو{\displaystyle W}بحيث يكون ذلك، بالنسبة لأي متجه A قيد الدراسة،أأنا{0،دبليوأنا}.{\displaystyle A_{i}\in \{0,W_{i}\}.}في ظل هذه الظروف، تكون الدالة مقياس مسافة مناسب، وبالتالي فإن مجموعة من المتجهات التي يحكمها متجه الترجيح هذا تشكل فضاءً متريًا في ظل هذه الدالة.

خريطة حرارية تمثل مسافة تانيموتو بين أربعة متجهات ثنائية.

مؤشر جاكارد في مصفوفات الارتباك للتصنيف الثنائي

في مصفوفات الارتباك المستخدمة للتصنيف الثنائي ، يمكن صياغة مؤشر جاكارد بالصيغة التالية:

مؤشر جاكارد=تيPتيP+FP+Fشمال{\displaystyle {\text{Jaccard index}}={\frac {TP}{TP+FP+FN}}}

حيث تمثل TP النتائج الإيجابية الحقيقية، وFP النتائج الإيجابية الخاطئة، وFN النتائج السلبية الخاطئة.

يقيس مؤشر جاكارد، وهو صيغة تصنيف ثنائية، مدى تطابق النتائج الإيجابية المتوقعة مع النتائج الإيجابية الفعلية. فهو يُظهر مدى تداخل ما يتوقعه النموذج من حالات إيجابية حقيقية مع الحالات الإيجابية الفعلية. وكلما ارتفع مؤشر جاكارد، دلّ ذلك على أن التوقع أقرب إلى النتيجة الفعلية.

مؤشر جاكارد هو مقياس للتداخل يُمكن تعريفه باستخدام عناصر مصفوفة الارتباك. تمثل النتائج الإيجابية الحقيقية الحالات التي تم التنبؤ بأنها إيجابية وكانت إيجابية بالفعل، مما يُنشئ تداخلًا بين المجموعتين. أما النتائج الإيجابية الخاطئة فهي الحالات التي تم التنبؤ بأنها إيجابية ولكنها ليست كذلك في الواقع. وبالمثل، فإن النتائج السلبية الخاطئة هي الحالات التي تم التنبؤ بأنها سلبية ولكنها في الواقع إيجابية. يقارن مؤشر جاكارد النتائج الإيجابية الحقيقية بمجموعة المعلومات ذات الصلة.

مصفوفة الارتباك
نتيجة إيجابية متوقعةالنتيجة المتوقعة سلبية
إيجابي فعليتي بيFN
النتيجة السلبية الفعليةFPتينيسي

يُعدّ مؤشر جاكارد مفيدًا عند محاولة مقارنة النتائج المتوقعة بالنتائج الفعلية. ويساعد استخدام التصنيف الثنائي جنبًا إلى جنب مع مؤشر جاكارد في توضيح مدى موثوقية نموذج التنبؤ. ويُستخدم هذا المؤشر في العديد من المجالات، وهو شائع الاستخدام في الطب لإجراء الاختبارات المعملية. [ 21 ]

تطبيقات في علوم الحاسوب ونظرية الرسوم البيانية

في علوم الحاسوب، يُستخدم مؤشر جاكارد لقياس التشابه بين رؤوس الرسم البياني من خلال مقارنة مجموعات الجوار الخاصة بها. عند وجود رأسين، يُحسب التشابه بينهما بقسمة حجم تقاطع جواريهما على حجم اتحادهما. يُستخدم هذا المقياس على نطاق واسع في التنبؤ بالروابط ، واكتشاف المجتمعات، وتصنيف الرسوم البيانية، حيث يُساعد في تقدير احتمالية تكوّن حافة بين عقدتين في الشبكات. [ 22 ]

يمكن التعبير عن حساب تشابه جاكارد بين رأسين باستخدام مجموعات التجاور الخاصة بهما، كما هو موضح أدناه. [ 22 ]

// كود جافا سكريبت: دالة jaccardSimilarity ( graph1 , graph2 ){ const numNodes1 = graph1 . length ; const numNodes2 = graph2 . length ; let similarity = 0 ; // التكرار على جميع أزواج العقد في كلا الرسمين البيانيين for ( let i = 0 ; i < numNodes1 ; i ++ ){ for ( let j = 0 ; j < numNodes2 ; j ++ ){ // حساب حجم تقاطع واتحاد مجموعات الجيران const intersectionSize = intersection ( graph1 [ i ], graph2 [ j ]). length ; const unionSize = union ( graph1 [ i ], graph2 [ j ]). length ; // حساب تشابه جاكارد وإضافته إلى التشابه الكلي += intersectionSize / unionSize ; } } // قسمة التشابه الكلي على عدد أزواج العقد للحصول على متوسط ​​التشابه المُعاد / ( عدد العقد 1 * عدد العقد 2 ); }// دالة مساعدة لحساب تقاطع مصفوفتين function intersection ( a , b ) { return a . filter ( value => b . includes ( value )); }// دالة مساعدة لحساب اتحاد مصفوفتين function union ( a , b ){ return [... new Set ([... a , ... b ])]; }

[ 22 ]

يوضح المثال أعلاه تطبيقًا يعتمد على عمليات المجموعات على قوائم التجاور. عمليًا، تُستخدم تمثيلات الرسوم البيانية، مثل قوائم التجاور، لتحسين كفاءة عمليات التقاطع والاتحاد. بالنسبة للرسوم البيانية الكبيرة، قد يكون حساب التشابه بين جميع أزواج الرؤوس مكلفًا حسابيًا. لذا، قد يلجأ المبرمجون إلى التقريب لتجنب تحمل التكلفة الكاملة لهذا الحساب.

انظر أيضاً

مراجع

  1. مورفي، آلان هـ. (1996). "قضية فينلي: حدث بارز في تاريخ التحقق من التنبؤات" . الطقس والتنبؤات . 11 (1): 3. Bibcode : 1996WtFor..11....3M . doi : 10.1175/1520-0434(1996)011 < 0003 :TFAASE > 2.0.CO ; 2. ISSN 1520-0434 . S2CID 54532560 .  
  2. "مسرد التحقق من التنبؤات" (ملف PDF) . noaa.gov . تم الاطلاع عليه بتاريخ 21 مايو 2023 .
  3. ^ جاكارد، بول (1901). "دراسة مقارنة لتوزيع الأزهار في جزء من جبال الألب والجورا" . نشرة شركة vaudoise des Sciences Naturelles (باللغة الفرنسية). 37 (142): 547- 579.
  4. جاكارد، بول (فبراير 1912). "توزيع النباتات في المنطقة الألبية.1". عالم النبات الجديد . 11 (2): 37-50 . Bibcode : 1912NewPh..11...37J . doi : 10.1111/j.1469-8137.1912.tb05611.x . ISSN 0028-646X . S2CID 85574559 .  
  5. 1 2 تانيموتو تي تي (17 نوفمبر 1958). "نظرية رياضية أولية للتصنيف والتنبؤ". تقرير فني داخلي لشركة آي بي إم . 1957 (8؟).
  6. هاستي، ت.؛ تيبشيراني، ر.؛ فريدمان، ج. (2009). عناصر التعلم الإحصائي . سبرينغر.
  7. مانينغ، سي دي؛ راغافان، بي؛ شوتزه، إتش (2008). مقدمة في استرجاع المعلومات . مطبعة جامعة كامبريدج.
  8. 1 2 3 4 تشونغ، ن. س.، مياسوجيدو، ب.، ستارتك، م.، غامبين، أ. (ديسمبر 2019). "اختبار جاكارد/تانيموتو للتشابه وطرق التقدير لبيانات الوجود/الغياب البيولوجية" . بي إم سي بيوانفورماتيكس . 20 (ملحق 15) 644. arXiv : 1903.11372 . doi : 10.1186/ s12859-019-3118-5 . PMC 6929325. PMID 31874610 .  
  9. ليسكوفيك ج، راجارامان أ، أولمان ج (2020). استخراج البيانات من مجموعات البيانات الضخمة . كامبريدج. ISBN 9781108476348.والصفحتين  76-77 في نسخة سابقة .
  10. كوفمان، ل.؛ روسيو، ب. ج. (1990). إيجاد المجموعات في البيانات: مقدمة في تحليل التجميع . وايلي.
  11. كوسوب، س. (أبريل 2019). "ملاحظة حول متباينة المثلث لمسافة جاكارد". رسائل التعرف على الأنماط . 120 : 36-38 . arXiv : 1612.02696 . Bibcode : 2019PaReL.120...36K . doi : 10.1016/j.patrec.2018.12.007 . S2CID 564831 . 
  12. 1 2 ليبكوس، أ. هـ. (1999). "برهان على متباينة المثلث لمسافة تانيموتو". مجلة الكيمياء الرياضية . 26 ( 1-3 ): 263-265 . doi : 10.1023/A:1019154432472 . S2CID 118263043 . 
  13. ليفاندوفسكي م، وينتر د (1971). "المسافة بين المجموعات". مجلة نيتشر . 234 (5): 34-35 . Bibcode : 1971Natur.234...34L . doi : 10.1038/234034a0 . S2CID 4283015 . 
  14. أغاروال، سي سي (2015). استخراج البيانات: الكتاب المدرسي . سبرينغر.
  15. "إجراء المسافة" (ملف PDF) .{{cite web}}: CS1 maint: url-status ( link )
  16. سنيث، بي إتش إيه؛ سوكال، آر آر (1973). التصنيف العددي . دبليو إتش فريمان.
  17. "التجزئة الحساسة للموقع (LSH): الدليل المصور | باينكون" . www.pinecone.io . تم ​​الاطلاع عليه بتاريخ 21-04-2026 .
  18. 1 2 مولتون ر، جيانغ ي (2018). "أخذ العينات المتسقة إلى أقصى حد ومؤشر جاكارد لتوزيعات الاحتمالات". المؤتمر الدولي لهندسة الكهرباء والإلكترونيات (IEEE) لعام 2018 حول استخراج البيانات (ICDM) . الصفحات 347-356 . arXiv : 1809.04052 . doi : 10.1109/ICDM.2018.00050 . ISBN  978-1-5386-9159-5. S2CID 49746072 . 
  19. على سبيل المثال ، Huihuan Q، Xinyu W، Yangsheng X (2011). أنظمة المراقبة الذكية . Springer. ص 161. ISBN  978-94-007-1137-2.
  20. روجرز دي جيه، تانيموتو تي تي (أكتوبر 1960). "برنامج حاسوبي لتصنيف النباتات". مجلة ساينس . 132 (3434): 1115-1118 . رمز Bibcode : 1960Sci...132.1115R . doi : 10.1126/science.132.3434.1115 . PMID 17790723 . 
  21. عزيز طه، عبد (2015). "مقاييس تقييم تجزئة الصور الطبية ثلاثية الأبعاد: التحليل والاختيار والأداة" . مجلة BMC للتصوير الطبي . 15 (29) 29: 1-28 . doi : 10.1186/s12880-015-0068-x . PMC 4533825. PMID 26263899 .  
  22. 1 2 3 دالفي، روهان (2023-05-08). "تشابه جاكارد في نظرية الرسم البياني" . ميديوم . تم الاسترجاع في 2026-04-21 .

للمزيد من القراءة

  • تان، بي. إن.، شتاينباخ، إم.، كومار، في. (2005). مقدمة في استخراج البيانات . بيرسون أديسون ويسلي. رقم ISBN 0-321-32136-7.