تشابه جيب التمام
في تحليل البيانات ، يُعدّ تشابه جيب التمام مقياسًا للتشابه بين متجهين غير صفريين مُعرّفين في فضاء الضرب الداخلي . تشابه جيب التمام هو جيب تمام الزاوية بين المتجهين؛ أي أنه حاصل الضرب القياسي للمتجهين مقسومًا على حاصل ضرب طوليهما. وبناءً على ذلك، فإن تشابه جيب التمام لا يعتمد على مقادير المتجهين، وإنما على زاويتهما فقط. وينتمي تشابه جيب التمام دائمًا إلى الفترة [0, 1].على سبيل المثال، يكون تشابه جيب التمام بين متجهين متناسبين +1، بينما يكون تشابه جيب التمام بين متجهين متعامدين 0، وبين متجهين متعاكسين -1. في بعض السياقات، لا يمكن أن تكون قيم مكونات المتجهات سالبة، وفي هذه الحالة يكون تشابه جيب التمام محدودًا..
على سبيل المثال، في استرجاع المعلومات واستخراج البيانات النصية ، تُخصص لكل كلمة إحداثية مختلفة، ويُمثل المستند بمتجه عدد مرات ظهور كل كلمة فيه. ومن ثم، يُعطي تشابه جيب التمام مقياسًا مفيدًا لمدى تشابه مستندين من حيث موضوعهما، بغض النظر عن طولهما. [ 1 ]
تُستخدم هذه التقنية أيضًا لقياس التماسك داخل المجموعات في مجال استخراج البيانات . [ 2 ]
إحدى مزايا تشابه جيب التمام هي انخفاض تعقيدها ، خاصة بالنسبة للمتجهات المتفرقة : لا يلزم سوى النظر في الإحداثيات غير الصفرية.
ومن الأسماء الأخرى لتشابه جيب التمام تشابه أورشيني ومعامل تاكر للتطابق ؛ أما تشابه أوتسوكا-أوتشياي (انظر أدناه) فهو تشابه جيب التمام المطبق على البيانات الثنائية . [ 3 ]
تعريف
يمكن اشتقاق جيب تمام متجهين غير صفريين باستخدام صيغة الضرب النقطي الإقليدي :
بفرض وجود متجهين من السمات، A و B ، ذوي أبعاد n ، فإن تشابه جيب التمام، cos(θ) ، يُعبَّر عنه باستخدام الضرب النقطي والمقدار كما يلي:
أينوهل همالمكونات النونية للمتجهاتو، على التوالى.
تتراوح درجة التشابه الناتجة من -1 بمعنى عكس تمامًا، إلى +1 بمعنى متطابق تمامًا، مع 0 للدلالة على التعامد (عدم وجود ارتباط )، بينما تشير القيم المتوسطة إلى تشابه أو اختلاف متوسط.
في مطابقة النصوص ، عادةً ما تكون متجهات السمات A و B هي متجهات تردد المصطلحات في المستندات. ويمكن اعتبار تشابه جيب التمام طريقةً لتطبيع طول المستند أثناء المقارنة. في حالة استرجاع المعلومات ، يتراوح تشابه جيب التمام بين مستندين منبما أن ترددات المصطلحات لا يمكن أن تكون سالبة، فإن هذا ينطبق حتى عند استخدام أوزان TF-IDF . ولا يمكن أن تتجاوز الزاوية بين متجهي ترددات مصطلحين 90 درجة.
إذا تم تطبيع متجهات السمات عن طريق طرح متوسطات المتجهات (على سبيل المثال،يُطلق على هذا المقياس اسم تشابه جيب التمام المركزي، وهو مكافئ لمعامل ارتباط بيرسون . للحصول على مثال على التمركز،
مسافة جيب التمام
عندما تُعرَّف المسافة بين متجهين متساويين في الطول بأنها طول الفرق بين متجهيهما، فإن
ومع ذلك، غالبًا ما يتم تعريف مسافة جيب التمام [ 4 ] بدون الجذر التربيعي أو العامل 2:
نظرًا لأن مسافة جيب التمام تتناسب طرديًا مع مربع المسافة الإقليدية، فإنها لا تُعدّ مقياسًا حقيقيًا للمسافة ؛ فهي لا تُظهر خاصية متباينة المثلث - أو بتعبير أدق، متباينة شوارتز - كما أنها تُخالف بديهية التطابق. ولإصلاح خاصية متباينة المثلث مع الحفاظ على الترتيب نفسه، يمكن التحويل إلى المسافة الإقليدية.أو المسافة الزاوية θ = arccos( S C ( A , B )) . بدلاً من ذلك، يمكن التعبير عن المتباينة المثلثية التي تعمل مع المسافات الزاوية مباشرةً بدلالة جيوب التمام؛ انظر أدناه .
المسافة الزاوية والتشابه
الزاوية المعيارية، والتي يشار إليها بالمسافة الزاوية ، بين أي متجهينوهو مقياس مسافة رسمي ويمكن حسابه من تشابه جيب التمام. [ 5 ] ويمكن بعد ذلك استخدام مكمل مقياس المسافة الزاوية لتعريف دالة تشابه زاوية محصورة بين 0 و1، شاملةً.
متى يمكن أن تكون عناصر المتجه موجبة أو سالبة:
أو، إذا كانت عناصر المتجه موجبة دائمًا:
لسوء الحظ، فإن حساب دالة جيب التمام العكسي ( arccos ) بطيء، مما يجعل استخدام المسافة الزاوية أكثر تكلفة من الناحية الحسابية من استخدام مسافة جيب التمام الأكثر شيوعًا (ولكنها ليست مترية) المذكورة أعلاه.
المسافة الإقليدية المعيارية L2
يمكن الحصول على طريقة بديلة فعالة أخرى لمسافة جيب التمام عن طريقبعد تطبيع المتجهات، يتم تطبيق المسافة الإقليدية العادية . باستخدام هذه التقنية، يُقسم كل حد في كل متجه على مقدار المتجه، مما ينتج عنه متجه ذو طول وحدة واحدة. ثم تُحسب المسافة الإقليدية بين طرفي أي متجهين كمقياس مناسب يُعطي نفس ترتيب مسافة جيب التمام (وهي تحويل رتيب للمسافة الإقليدية؛ انظر أدناه ) لأي مقارنة بين المتجهات، كما أنه يتجنب العمليات المثلثية المكلفة المحتملة اللازمة للحصول على مقياس مناسب. بمجرد إتمام التطبيع، يمكن استخدام فضاء المتجهات مع جميع التقنيات المتاحة لأي فضاء إقليدي، ولا سيما تقنيات تقليل الأبعاد القياسية . غالبًا ما تُستخدم هذه المسافة المُطبعة في العديد من خوارزميات التعلم العميق .
معامل أوتسوكا-أوتشياي
في علم الأحياء، هناك مفهوم مشابه يُعرف باسم معامل أوتسوكا – أوتشياي الذي سمي على اسم يانوسوكي أوتسوكا (مكتوب أيضًا باسم Ōtsuka أو Ootsuka أو Otuka، [ 6 ] باليابانية :大塚 弥之助) [ 7 ] وأكيرا أوتشياي ( باليابانية :落合 明)، [ 8 ] المعروف أيضًا باسم Ochiai – Barkman [ 9 ] أو معامل أوتشياي، [ 10 ] والذي يمكن تمثيله على النحو التالي:
هنا،وهي مجموعات ، وهو عدد العناصر فيإذا مُثِّلت المجموعات كمتجهات ثنائية، يُمكن ملاحظة أن معامل أوتسوكا-أوتشياي هو نفسه معامل تشابه جيب التمام. وهو مطابق للمقياس الذي قدمه غودفري طومسون . [ 11 ]
في كتاب صدر مؤخرًا، [ 12 ] نُسب المعامل خطأً مبدئيًا إلى باحث ياباني آخر يحمل اسم عائلة أوتسوكا. وينشأ هذا الالتباس لأن أكيرا أوتشياي نسب المعامل عام 1957 إلى أوتسوكا فقط (دون ذكر اسمه الأول) [ 8 ] مستشهدًا بمقال لإيكوسو هاماي ( باليابانية :浜井 生三)، [ 13 ] الذي استشهد بدوره بالمقال الأصلي ليانوسوكي أوتسوكا عام 1936. [ 7 ]
ملكيات
إن أبرز خصائص تشابه جيب التمام هي أنها تعكس مقارنة نسبية، وليست مطلقة، لأبعاد المتجهات الفردية. لأي ثابت موجبوالمتجهالمتجهاتوتكون هذه المقاييس متشابهة إلى أقصى حد. لذا، يُعد هذا المقياس الأنسب للبيانات التي يكون فيها التكرار أهم من القيم المطلقة، ولا سيما تكرار المصطلحات في الوثائق. مع ذلك، فقد أظهرت مقاييس أحدث، تستند إلى نظرية المعلومات، مثل جينسن-شانون ، وSED، والتباعد المثلثي، تحسناً في الدلالات في بعض السياقات على الأقل. [ 14 ]
يرتبط تشابه جيب التمام بالمسافة الإقليدية كما يلي. نرمز للمسافة الإقليدية بالرمز المعتادولاحظ ذلك
- ( هوية الاستقطاب )
بالتمدد . عندما يتم توحيد طول A و B إلى وحدة واحدة،إذن هذا التعبير يساوي
باختصار، يمكن التعبير عن مسافة جيب التمام بدلالة المسافة الإقليدية كما يلي:
- .
تُسمى المسافة الإقليدية مسافة الوتر (لأنها طول الوتر على دائرة الوحدة) وهي المسافة الإقليدية بين المتجهات التي تم تطبيعها إلى مجموع مربعات القيم داخلها.
التوزيع الصفري: بالنسبة للبيانات التي يمكن أن تكون سالبة أو موجبة، فإن التوزيع الصفري لتشابه جيب التمام هو توزيع حاصل الضرب النقطي لمتجهي وحدة عشوائيين مستقلين. يبلغ متوسط هذا التوزيع صفرًا وتباينه σ² .(أين(حيث يمثل عدد الأبعاد)، وعلى الرغم من أن التوزيع محصور بين -1 و+1، كماعندما يكبر حجم البيانات، يصبح التوزيع أقرب ما يكون إلى التوزيع الطبيعي . [ 15 ] [ 16 ] أما بالنسبة لأنواع البيانات الأخرى، مثل تدفقات البتات ، التي لا تأخذ إلا القيمتين 0 أو 1، فإن التوزيع الصفري يأخذ شكلاً مختلفاً وقد يكون له متوسط غير صفري. [ 17 ]
متباينة المثلث لتشابه جيب التمام
تُعطينا متباينة المثلث العادية للزوايا (أي أطوال الأقواس على كرة فائقة الوحدة) ما يلي:
لأن دالة جيب التمام تتناقص مع زيادة الزاوية في [0، π ] راديان، فإن اتجاه هذه المتباينات ينعكس عندما نأخذ جيب تمام كل قيمة:
باستخدام صيغ جمع وطرح جيب التمام، يمكن كتابة هاتين المتباينتين بدلالة جيب التمام الأصلي،
يمكن استخدام هذا الشكل من متباينة المثلث لتحديد الحد الأدنى والحد الأقصى للتشابه بين عنصرين A وB إذا كانت أوجه التشابه مع عنصر مرجعي C معروفة مسبقًا. يُستخدم هذا، على سبيل المثال، في فهرسة البيانات المترية، كما استُخدم أيضًا لتسريع خوارزمية التجميع الكروي k-means [ 18 ] بنفس الطريقة التي استُخدمت بها متباينة المثلث الإقليدي لتسريع خوارزمية k-means العادية.
قياس جيب التمام الناعم
يُعنى مقياس جيب التمام المرن، أو ما يُعرف بـ "التشابه المرن"، بين متجهين بدراسة أوجه التشابه بين أزواج من السمات. [ 19 ] بينما يعتبر مقياس جيب التمام التقليدي سمات نموذج فضاء المتجهات (VSM) مستقلة أو مختلفة تمامًا، يقترح مقياس جيب التمام المرن مراعاة تشابه السمات في نموذج فضاء المتجهات، مما يُسهم في تعميم مفهوم جيب التمام (وجيب التمام المرن) وفكرة التشابه (المرن).
على سبيل المثال، في مجال معالجة اللغات الطبيعية ، يكون التشابه بين السمات بديهيًا. فالسمات مثل الكلمات، والوحدات النحوية (n -grams) ، والوحدات النحوية التركيبية [ 20 ] قد تكون متشابهة إلى حد كبير، على الرغم من أنها تُعتبر رسميًا سمات مختلفة في نموذج تمثيل القيم (VSM). فعلى سبيل المثال، كلمتا "play" و"game" كلمتان مختلفتان، وبالتالي تُربطان بنقاط مختلفة في نموذج تمثيل القيم، ومع ذلك فهما مرتبطتان دلاليًا. وفي حالة الوحدات النحوية أو الوحدات النحوية التركيبية ، يمكن تطبيق مسافة ليفنشتاين (بل يمكن تطبيقها على الكلمات أيضًا).
لحساب جيب التمام المرن، تُستخدم المصفوفة s للإشارة إلى التشابه بين الميزات. ويمكن حسابها باستخدام مسافة ليفنشتاين، أو تشابه WordNet ، أو مقاييس تشابه أخرى . ثم نضرب الناتج بهذه المصفوفة.
بفرض وجود متجهين ذوي N بُعدويتم حساب تشابه جيب التمام الناعم على النحو التالي:
حيث s ij = similarity(feature i , feature j ) .
إذا لم يكن هناك تشابه بين الميزات ( s ii = 1 ، s ij = 0 لـ i ≠ j )، فإن المعادلة المعطاة تعادل صيغة تشابه جيب التمام التقليدية.
يُعدّ التعقيد الزمني لهذا المقياس تربيعيًا، مما يجعله قابلاً للتطبيق في مهام العالم الحقيقي. تجدر الإشارة إلى أنه يمكن تقليل التعقيد إلى أقل من تربيعي. [ 21 ] يتضمن مكتبة Gensim مفتوحة المصدر تطبيقًا فعالًا لمثل هذا التشابه الجيب التمامي المرن.
انظر أيضاً
مراجع
- ↑ سينغال، أميت (2001). " استرجاع المعلومات الحديث: نظرة عامة موجزة ". نشرة اللجنة الفنية لهندسة البيانات التابعة لجمعية مهندسي الكهرباء والإلكترونيات 24 (4): 35-43.
- ↑ بي. إن. تان، إم. شتاينباخ، وفي. كومار، مقدمة في استخراج البيانات ، أديسون-ويسلي (2005)، رقم ISBN 0-321-32136-7، الفصل 8؛ الصفحة 500.
- ↑ "cosine_similarity: دالة لحساب تشابه جيب التمام" . rDrr.io. تم الاطلاع عليه بتاريخ 18 نوفمبر 2024 .
- ↑ وولفرام ريسيرش (2007). "CosineDistance – مركز وولفرام لتوثيق اللغات والأنظمة" . wolfram.com .
{{cite web}}: صيانة CS1: الأسماء الرقمية: قائمة المؤلفين ( رابط ) - ↑ "مسافة جيب التمام، تشابه جيب التمام، مسافة جيب التمام الزاوية، تشابه جيب التمام الزاوية" . www.itl.nist.gov . تاريخ الاسترجاع: 11 يوليو 2020 .
- ^ أوموري، ماساي (2004). "الفكرة الجيولوجية ليانوسكي أوتوكا، الذي بنى أساس علم التكتونيات الحديثة (عالم الجيولوجيا)" . علوم الارض . 58 (4): 256-259 . دوى : 10.15080/agcjchikyukagaku.58.4_256 .
- 1 2 أوتسوكا، يانوسوكي (1936). "الخصائص الحيوانية للرخويات البحرية في العصر البليستوسيني الياباني، كدليل على أن المناخ أصبح أكثر برودة خلال العصر البليستوسيني في اليابان". نشرة الجمعية الجغرافية الحيوية اليابانية . 6 (16): 165-170 .
- 1 2 أوتشياي، أكيرا (1957). "دراسات جغرافية حيوانية على أسماك موسى الموجودة في اليابان والمناطق المجاورة لها - الجزء الثاني" . نشرة الجمعية اليابانية للمصايد العلمية . 22 (9): 526-530 . doi : 10.2331/suisan.22.526 .
- ↑ باركمان، جان ج. (1958). علم النبات الاجتماعي وعلم البيئة للنباتات الهوائية الخفية: بما في ذلك مسح تصنيفي ووصف لوحداتها النباتية في أوروبا . آسن: فان جوركوم.
- ↑ رومسبيرغ، إتش. تشارلز (1984). تحليل التجميع للباحثين . بيلمونت، كاليفورنيا: منشورات لايف تايم ليرنينج. ص 149.
- ↑ تومسون، جودفري (1916). "تسلسل هرمي بدون عامل عام" (ملف PDF) . المجلة البريطانية لعلم النفس . 8 : 271-281 .
- ↑ هاورث، ريتشارد ج. (2017). قاموس العلوم الجيولوجية الرياضية: مع ملاحظات تاريخية . تشام: سبرينغر. ص 421. Bibcode : 2017dmgh.book.....H . doi : 10.1007/978-3-319-57315-1 . ISBN 978-3-319-57314-4. S2CID 67081034 .
[…] منسوب إليه إلى "أوتسوكا" [؟أ. أوتسوكا من قسم مصايد الأسماك، جامعة توهوكو].
- ↑ هاماي، إيكوسو (1955). "تصنيف المجتمع باستخدام "معامل المجتمع" (تابع)" . المجلة اليابانية لعلم البيئة . 5 (1): 41-45 . doi : 10.18960/seitai.5.1_41 .
- ↑ كونور، ريتشارد (2016). حكاية أربعة مقاييس . البحث عن التشابه وتطبيقاته. طوكيو: سبرينغر. doi : 10.1007/978-3-319-46759-7_16 .
- ↑ سبرويل، ماركوس سي. (2007). "التوزيع التقاربي للإحداثيات على الكرات عالية الأبعاد" . الاتصالات الإلكترونية في الاحتمالات . 12 : 234-247 . doi : 10.1214/ECP.v12-1294 .
- ↑ "توزيع الضرب النقطي بين متجهين عشوائيين في RD" . تم التحقق منه عبر التحقق المتبادل .
- ↑ غراهام ل. جيلر (2012). "الخصائص الإحصائية لتدفقات البتات العشوائية وتوزيع المعاينة لتشابه جيب التمام". مذكرات جيلر للاستثمارات البحثية (20121024/1). doi : 10.2139/ssrn.2167044 . S2CID 123332455 .
- ↑ شوبرت، إريك؛ لانغ، أندرياس؛ فيهير، غلوريا (2021). "تسريع خوارزمية k-Means الكروية" . في: رييس، نورا؛ كونور، ريتشارد؛ كريج، نيلز؛ كازمبور، دانيال؛ بارتوليني، إيلاريا؛ شوبرت، إريك؛ تشين، جيان جيا (محررون). البحث عن التشابه وتطبيقاته . سلسلة محاضرات في علوم الحاسوب. المجلد 13058. تشام: دار نشر سبرينغر الدولية. الصفحات 217-231 . arXiv : 2107.04074 . doi : 10.1007/978-3-030-89657-7_17 . ISBN 978-3-030-89657-7. S2CID 235790358 .
- ^ سيدوروف، غريغوري. جلبوخ، الكسندر؛ غوميز أدورنو، هيلينا؛ بينتو ، ديفيد (29 سبتمبر 2014). "التشابه الناعم وقياس جيب التمام الناعم: تشابه الميزات في نموذج الفضاء المتجه" . الحاسبات والأنظمة . 18 (3): 491-504 . دوى : 10.13053 / CyS-18-3-2043 . تم الاسترجاع 7 أكتوبر 2014 .
- ^ سيدوروف، غريغوري. فيلاسكويز، فرانسيسكو؛ ستاماتاتوس، إفستاثيوس؛ جلبوخ، الكسندر؛ تشانونا هيرنانديز، ليليانا (2013). التقدم في الذكاء الحسابي . ملاحظات محاضرة في علوم الكمبيوتر. المجلد. 7630. LNAI 7630. ص 1 – 11. دوى : 10.1007 / 978-3-642-37798-3_1 . رقم ISBN 978-3-642-37798-3.
- ↑ نوفوتني، فيت (2018). ملاحظات تطبيقية لمقياس جيب التمام المرن . المؤتمر الدولي السابع والعشرون لجمعية آلات الحوسبة حول إدارة المعلومات والمعرفة. تورون، إيطاليا: جمعية آلات الحوسبة. الصفحات 1639-1642 . arXiv : 1808.09407 . doi : 10.1145 /3269206.3269317 . ISBN 978-1-4503-6014-2.
- تقنيات استرجاع المعلومات
- مقاييس التشابه
- تحليل البيانات
