خوارزمية البصريات
خوارزمية ترتيب النقاط لتحديد بنية التجميع ( OPTICS ) هي خوارزمية لإيجاد تجمعات قائمة على الكثافة [ 1 ] في البيانات المكانية. طُرحت هذه الخوارزمية عام 1999 من قِبل ميخائيل أنكرست، وماركوس م. برونينغ، وهانز-بيتر كريغل، ويورغ ساندر . [ 2 ] تتشابه فكرتها الأساسية مع خوارزمية DBSCAN ، [ 3 ] لكنها تعالج إحدى نقاط ضعف DBSCAN الرئيسية: مشكلة اكتشاف التجمعات ذات الدلالة في البيانات ذات الكثافة المتفاوتة. ولتحقيق ذلك، تُرتّب نقاط قاعدة البيانات (خطيًا) بحيث تصبح النقاط الأقرب مكانيًا متجاورة في الترتيب. بالإضافة إلى ذلك، تُخزّن مسافة خاصة لكل نقطة تُمثّل الكثافة التي يجب قبولها لتكوين تجمع بحيث تنتمي كلتا النقطتين إلى نفس التجمع. ويُمثّل هذا الترتيب بمخطط شجري .
الفكرة الأساسية
على غرار خوارزمية DBSCAN ، تتطلب خوارزمية OPTICS معيارين: ε ، الذي يصف أقصى مسافة (نصف قطر) يجب أخذها في الاعتبار، و MinPts ، الذي يصف عدد النقاط المطلوبة لتشكيل مجموعة. تُعتبر النقطة p نقطة أساسية إذا تم العثور على MinPts نقطة على الأقل ضمن جوارها ε.(بما في ذلك النقطة p نفسها). على عكس DBSCAN ، يأخذ OPTICS في الاعتبار أيضًا النقاط التي تشكل جزءًا من مجموعة أكثر كثافة، لذلك يتم تعيين مسافة أساسية لكل نقطة تصف المسافة إلى أقرب نقطة MinPts :
إن مسافة الوصول لنقطة أخرى o من نقطة p هي إما المسافة بين o و p ، أو المسافة الأساسية لـ p ، أيهما أكبر:
إذا كان p و o أقرب جارين، فهذا هونحتاج إلى افتراض أن p و o ينتميان إلى نفس المجموعة.
تكون كل من مسافة النواة ومسافة الوصول غير مُعرّفتين إذا لم تتوفر مجموعة كثيفة بما فيه الكفاية (بالنسبة إلى ε ). وبالنظر إلى قيمة ε كبيرة بما فيه الكفاية ، فإن هذا لا يحدث أبدًا، ولكن في هذه الحالة، تُعيد كل استعلام عن الجوار ε قاعدة البيانات بأكملها، مما ينتج عنهوقت التشغيل. وبالتالي، فإن المعامل ε مطلوب لقطع كثافة المجموعات التي لم تعد ذات أهمية، ولتسريع الخوارزمية.
المعامل ε ، من الناحية النظرية، ليس ضروريًا. يمكن ببساطة ضبطه على القيمة القصوى الممكنة. مع ذلك، عندما يتوفر مؤشر مكاني، فإنه يلعب دورًا عمليًا فيما يتعلق بالتعقيد. يُبسّط برنامج OPTICS خوارزمية DBSCAN بإزالة هذا المعامل، على الأقل لدرجة الاكتفاء بإعطاء القيمة القصوى فقط.
الشفرة الزائفة
النهج الأساسي لـ OPTICS مشابه لـ DBSCAN ، ولكن بدلاً من الاحتفاظ بأعضاء المجموعة المعروفين، ولكن حتى الآن لم تتم معالجتهم، في مجموعة، يتم الاحتفاظ بهم في قائمة انتظار ذات أولوية (على سبيل المثال باستخدام كومة مفهرسة ).
الدالة OPTICS(DB, ε, MinPts) تقوم لكل نقطة p من DB بما يلي: p.reachability-distance = غير مُعرّف لكل نقطة غير معالجة p من قاعدة البيانات ، قم بما يلي: N = getNeighbors(p, ε) تم وضع علامة على p كمعالجة قم بإخراج p إلى القائمة المرتبة إذا كانت المسافة الأساسية (p، ε، MinPts) غير مُعرَّفة، فإن البذور = قائمة انتظار ذات أولوية فارغة تحديث(N، p، البذور، ε، MinPts) لكل q التالي في Seeds، قم بما يلي: N' = getNeighbors(q, ε) تم وضع علامة "تمت المعالجة" على q قم بإخراج q إلى القائمة المرتبة إذا كانت المسافة الأساسية (q، ε، MinPts) غير مُعرّفة، فقم بتحديث (N'، q، Seeds، ε، MinPts).
في دالة التحديث ()، يتم تحديث قائمة الانتظار ذات الأولوية Seeds بالبيانات التالية:-حيو، على التوالى:
دالة التحديث (N، p، Seeds، ε، MinPts) هي Coredist = المسافة الأساسية (p، ε، MinPts) لكل عنصر o في N، إذا لم تتم معالجة o، فـ new-reach-dist = max(coredist, dist(p,o)) إذا كانت قيمة o.reachability-distance تساوي UNDEFINED، فهذا يعني أن o ليس ضمن البذور. o.reachability-distance = new-reach-dist Seeds.insert(o, new-reach-dist) وإلا // في البذور، تحقق من التحسين إذا كانت مسافة الوصول الجديدة < مسافة الوصول o. o.reachability-distance = new-reach-dist Seeds.move-up(o, new-reach-dist)
وبالتالي، يقوم برنامج OPTICS بإخراج النقاط بترتيب معين، مع وضع علامة عليها بأصغر مسافة يمكن الوصول إليها (في الخوارزمية الأصلية، يتم أيضًا تصدير المسافة الأساسية، ولكن هذا ليس مطلوبًا لمزيد من المعالجة).
استخراج المجموعات
![]()
باستخدام مخطط الوصول (نوع خاص من مخططات التفرع )، يمكن الحصول بسهولة على البنية الهرمية للمجموعات. وهو مخطط ثنائي الأبعاد، حيث يُمثل المحور السيني ترتيب النقاط كما تمت معالجتها بواسطة برنامج OPTICS، بينما يُمثل المحور الصادي مسافة الوصول. ونظرًا لأن النقاط المنتمية إلى مجموعة ما تتميز بمسافة وصول قصيرة إلى أقرب جار لها، تظهر المجموعات على شكل وديان في مخطط الوصول. وكلما كان الوادي أعمق، كانت المجموعة أكثر كثافة.
توضح الصورة أعلاه هذا المفهوم. في الجزء العلوي الأيسر، تظهر مجموعة بيانات اصطناعية كمثال. أما الجزء العلوي الأيمن فيُظهر الشجرة الممتدة التي أنتجها برنامج OPTICS، بينما يُظهر الجزء السفلي مخطط إمكانية الوصول كما حُسب بواسطة البرنامج نفسه. الألوان في هذا المخطط هي تسميات وليست مُحسوبة بواسطة الخوارزمية؛ ولكن من الواضح كيف تتوافق المنخفضات في المخطط مع المجموعات في مجموعة البيانات المذكورة. تُعتبر النقاط الصفراء في هذه الصورة تشويشًا، ولا يوجد أي انخفاض في مخطط إمكانية الوصول الخاص بها. عادةً لا تُنسب هذه النقاط إلى مجموعات، باستثناء مجموعة "جميع البيانات" المنتشرة في النتائج الهرمية.
يمكن استخراج المجموعات من هذا الرسم البياني يدويًا عن طريق تحديد نطاقات على المحور السيني بعد الفحص البصري، أو عن طريق تحديد عتبة على المحور الصادي (تكون النتيجة حينها مشابهة لنتيجة تجميع DBSCAN بنفسومعاملات minPts (حيث قد تُعطي قيمة 0.1 نتائج جيدة)، أو باستخدام خوارزميات مختلفة تحاول اكتشاف الوديان من خلال الانحدار، أو اكتشاف نقطة الانعطاف، أو القيم القصوى المحلية. يُعتبر نطاق الرسم البياني الذي يبدأ بانحدار حاد وينتهي بصعود حاد واديًا، ويتوافق مع منطقة متصلة ذات كثافة عالية. يجب توخي الحذر عند التعامل مع النقاط الأخيرة في الوادي لتصنيفها ضمن المجموعة الداخلية أو الخارجية، ويمكن تحقيق ذلك من خلال النظر إلى النقطة السابقة. [ 4 ] عادةً ما تكون التجميعات التي يتم الحصول عليها بهذه الطريقة هرمية ، ولا يمكن تحقيقها بتشغيل واحد لخوارزمية DBSCAN.
تعقيد
على غرار DBSCAN ، تعالج OPTICS كل نقطة مرة واحدة، وتنفذ عملية واحدة.- استعلام الجوار أثناء هذه المعالجة. بالنظر إلى فهرس مكاني يسمح باستعلام الجوار فيوقت التشغيل، وهو وقت تشغيل إجمالي لـيتم الحصول على ذلك. لكن أسوأ الحالات هيكما هو الحال مع خوارزمية DBSCAN. أفاد مؤلفو ورقة OPTICS الأصلية بوجود عامل تباطؤ ثابت فعلي قدره 1.6 مقارنةً بخوارزمية DBSCAN. لاحظ أن قيمةقد يؤثر ذلك بشكل كبير على تكلفة الخوارزمية، حيث أن القيمة الكبيرة جدًا قد ترفع تكلفة استعلام الجوار إلى تعقيد خطي.
على وجه الخصوص، اختيار(أكبر من أقصى مسافة في مجموعة البيانات) ممكن، ولكنه يؤدي إلى تعقيد تربيعي، لأن كل استعلام عن الجوار يُعيد مجموعة البيانات كاملة. حتى في حالة عدم توفر فهرس مكاني، فإن هذا يُضيف تكلفة إضافية في إدارة الذاكرة. لذلك،ينبغي اختيارها بشكل مناسب لمجموعة البيانات.
الإضافات
خوارزمية OPTICS-OF [ 5 ] هي خوارزمية لكشف القيم الشاذة تعتمد على خوارزمية OPTICS. وتتمثل فائدتها الرئيسية في استخراج القيم الشاذة من تشغيل OPTICS الحالي بتكلفة منخفضة مقارنةً باستخدام طريقة أخرى لكشف القيم الشاذة. وتعتمد النسخة الأكثر شهرة LOF على نفس المفاهيم.
تجمع خوارزمية DeLi-Clu [ 6 ] Density-Link-Clustering بين أفكار من التجميع أحادي الارتباط وOPTICS، مما يؤدي إلى التخلص منالمعيار وتقديم تحسينات في الأداء مقارنة بالبصريات.
HiSC [ 7 ] هي طريقة تجميع الفضاء الفرعي الهرمي (المحور الموازي) القائمة على OPTICS.
HiCO [ 8 ] هي خوارزمية تجميع الارتباط الهرمي القائمة على OPTICS.
DiSH [ 9 ] هو تحسين على HiSC يمكنه العثور على تسلسلات هرمية أكثر تعقيدًا.
FOPTICS [ 10 ] هو تطبيق أسرع باستخدام الإسقاطات العشوائية.
تعتمد خوارزمية HDBSCAN* [ 11 ] على تحسين خوارزمية DBSCAN، حيث تستبعد نقاط الحدود من المجموعات، وبالتالي تتبع بشكل أكثر دقة التعريف الأساسي لمستويات الكثافة الذي وضعه هارتيجان. [ 12 ]
يُعدّ مؤشر OPTICS Cordillera [ 13 ] مقياسًا وصفيًا من Scagnostics لمدى تكتل مجموعة البيانات. يستخدم هذا المؤشر برنامج OPTICS لإنشاء مخطط شجري، ثم يجمع معلومات المخطط الشجري للحصول على مقياس للتكتل يقع بين 0 (انعدام التكتل) و1 (أقصى قدر من التكتل).
التوافر
تتوفر تطبيقات جافا لـ OPTICS و OPTICS-OF و DeLi-Clu و HiSC و HiCO و DiSH في إطار عمل ELKI لاستخراج البيانات (مع تسريع الفهرسة لعدة دوال مسافة، واستخراج تلقائي للمجموعات باستخدام طريقة استخراج ξ ). وتشمل تطبيقات جافا الأخرى امتداد Weka (الذي لا يدعم استخراج مجموعات ξ ).
تتضمن حزمة R "dbscan" تطبيق C++ لـ OPTICS (مع كل من استخراج dbscan التقليدي واستخراج مجموعة ξ ) باستخدام شجرة kd لتسريع الفهرسة لمسافة إقليدية فقط.
تتوفر تطبيقات بايثون لـ OPTICS في مكتبة PyClustering وفي مكتبة scikit-learn . أما HDBSCAN* فهي متوفرة في مكتبة hdbscan .
مراجع
- ↑ كريجل، هانز-بيتر ؛ كروجر، بير؛ ساندر، يورغ ؛ زيمك، آرثر (مايو 2011). "التجميع القائم على الكثافة" . مراجعات وايلي متعددة التخصصات: استخراج البيانات واكتشاف المعرفة . 1 (3): 231-240 . doi : 10.1002/widm.30 . S2CID 36920706 .
- ↑ أنكرست، ميخائيل؛ برونينغ، ماركوس م.؛ كريغل، هانز-بيتر ؛ ساندر، يورغ (1999). "OPTICS: ترتيب النقاط لتحديد بنية التجميع". سجل ACM SIGMOD . 28 (2): 49-60 . doi : 10.1145/304181.304187 .
- ↑ مارتن إستر ؛ هانز-بيتر كريغل ؛ يورغ ساندر ؛ شياوي شو (1996). إيفانجيلوس سيموديس؛ جياوي هان؛ أسامة م. فياض (محررون). خوارزمية قائمة على الكثافة لاكتشاف التجمعات في قواعد البيانات المكانية الكبيرة مع وجود ضوضاء . وقائع المؤتمر الدولي الثاني لاكتشاف المعرفة واستخراج البيانات (KDD-96). مطبعة AAAI . الصفحات 226-231 . CiteSeerX 10.1.1.71.1980 . ISBN 1-57735-004-9.
- ^ شوبرت، إريك ؛ جيرتز ، مايكل (2018/08/22). تحسين بنية المجموعة المستخرجة من مخططات البصريات (PDF) . ليرنن، ويسن، داتين، أناليسين (LWDA 2018). المجلد. CEUR-WS 2191. الصفحات من 318 إلى 329 – عبر CEUR-WS.
- ↑ ماركوس م. برونينغ؛ هانز-بيتر كريغل ؛ ريموند ت. نغ؛ يورغ ساندر (1999). "OPTICS-OF: تحديد القيم الشاذة المحلية" . مبادئ استخراج البيانات واكتشاف المعرفة . سلسلة محاضرات في علوم الحاسوب. المجلد 1704. سبرينغر-فيرلاغ . الصفحات 262-270 . doi : 10.1007/b72280 . ISBN 978-3-540-66490-1. S2CID 27352458 .
- ↑ أختيرت، إلكي؛ بوم، كريستيان؛ كروجر، بير (2006). "DeLi-Clu: تعزيز المتانة والشمولية وسهولة الاستخدام وكفاءة التجميع الهرمي من خلال تصنيف أقرب زوج". في: نغ، وي كيونغ؛ كيتسوريغاوا، ماسارو؛ لي، جيانتشونغ؛ تشانغ، كويو (محررون). التقدم في اكتشاف المعرفة واستخراج البيانات، المؤتمر العاشر لمنطقة آسيا والمحيط الهادئ، PAKDD 2006، سنغافورة، 9-12 أبريل 2006، وقائع المؤتمر . سلسلة محاضرات في علوم الحاسوب. المجلد 3918. سبرينغر. الصفحات 119-128 . doi : 10.1007/11731139_16 . ISBN 978-3-540-33206-0.
- ↑ أختيرت، إلكه؛ بوم، كريستيان؛ كريغل، هانز-بيتر ؛ كروغر، بير؛ مولر-غورمان، إينا؛ زيمك، آرثر (2006). "إيجاد التسلسلات الهرمية لمجموعات الفضاءات الفرعية". في: فورنكرانز، يوهانس؛ شيفر، توبياس؛ سبيليوبولو، ميرا (محررون). اكتشاف المعرفة في قواعد البيانات: PKDD 2006، المؤتمر الأوروبي العاشر حول مبادئ وممارسات اكتشاف المعرفة في قواعد البيانات، برلين، ألمانيا، 18-22 سبتمبر 2006، وقائع المؤتمر . سلسلة محاضرات في علوم الحاسوب. المجلد 4213. سبرينغر. الصفحات 446-453 . doi : 10.1007/11871637_42 . ISBN 978-3-540-45374-1.
- ↑ أختيرت، إي.؛ بوم، سي.؛ كروجر، بي.؛ زيمك، أ. (2006). "استخراج التسلسلات الهرمية لمجموعات الارتباط". المؤتمر الدولي الثامن عشر لإدارة قواعد البيانات العلمية والإحصائية (SSDBM'06) . الصفحات 119-128 . CiteSeerX 10.1.1.707.7872 . doi : 10.1109/SSDBM.2006.35 . ISBN 978-0-7695-2590-7. S2CID 2679909 .
- ↑ أختيرت، إلكي؛ بوم، كريستيان؛ كريغل، هانز-بيتر ؛ كروغر، بير؛ مولر-غورمان، إينا؛ زيمك، آرثر (2007). "الكشف عن التسلسلات الهرمية لمجموعات الفضاءات الفرعية وتصويرها". في: راماموهاناراو، كوتاغيري؛ كريشنا، ب. رادها؛ موهانيا، موكيش ك.؛ نانتاجيوواراوات، إيكاويت (محررون). التطورات في قواعد البيانات: المفاهيم والأنظمة والتطبيقات، المؤتمر الدولي الثاني عشر لأنظمة قواعد البيانات للتطبيقات المتقدمة، DASFAA 2007، بانكوك، تايلاند، 9-12 أبريل 2007، وقائع المؤتمر. سلسلة محاضرات في علوم الحاسوب. المجلد 4443. سبرينغر. ص 152 – 163. دوى : 10.1007 / 978-3-540-71703-4_15 . رقم ISBN 978-3-540-71702-7.
- ↑ شنايدر، يوهانس؛ فلاخوس، ميخائيل (2013). "التجميع السريع بدون معلمات القائم على الكثافة عبر الإسقاطات العشوائية". وقائع المؤتمر الدولي الثاني والعشرين لجمعية ACM حول إدارة المعلومات والمعرفة . الصفحات 861-866 . doi : 10.1145/2505515.2505590 . ISBN 978-1-4503-2263-8.
- ↑ كامبيلو، ريكاردو جيه جي بي؛ مولافي، داوود؛ زيمك، آرثر ؛ ساندر، يورغ (22 يوليو 2015). "تقديرات الكثافة الهرمية لتجميع البيانات، وتصورها، والكشف عن القيم الشاذة". معاملات ACM لاكتشاف المعرفة من البيانات . 10 (1): 1-51 . doi : 10.1145/2733381 . S2CID 2887636 .
- ↑ جيه إيه هارتيجان (1975). خوارزميات التجميع . جون وايلي وأولاده.
- ↑ روش، توماس؛ هورنيك، كورت؛ ماير، باتريك (2018). "تقييم وتحديد كمية التكتل: سلسلة جبال أوبتكس" . مجلة الإحصاءات الحاسوبية والرسومية . 27 (1): 220-233 . doi : 10.1080/10618600.2017.1349664 .
- خوارزميات تحليل التجميع
