إلكي

ELKI ( بيئة لتطوير تطبيقات KDD المدعومة بهياكل الفهرسة ) هو إطار برمجي لاستخراج البيانات (KDD، اكتشاف المعرفة في قواعد البيانات) تم تطويره للاستخدام في البحث والتدريس. تم إنشاؤه في الأصل من قبل وحدة أبحاث أنظمة قواعد البيانات في جامعة لودفيغ ماكسيميليان في ميونخ ، ألمانيا، بقيادة البروفيسور هانز بيتر كريجل . استمر المشروع في جامعة دورتموند التقنية ، ألمانيا. ويهدف إلى تمكين تطوير وتقييم خوارزميات استخراج البيانات المتقدمة وتفاعلها مع هياكل فهرسة قواعد البيانات .

إطار عمل ELKI مكتوب بلغة جافا ومبني على بنية معيارية. تُنفذ معظم الخوارزميات المُضمنة حاليًا عمليات التجميع ، واكتشاف القيم الشاذة ، ^{[ 1 ]} وفهرسة قواعد البيانات . تسمح البنية الموجهة للكائنات بدمج خوارزميات وأنواع بيانات ودوال مسافة وفهارس ومقاييس تقييم متنوعة. يُحسّن مُترجم جافا الفوري جميع التركيبات بدرجة مماثلة، مما يجعل نتائج قياس الأداء أكثر قابلية للمقارنة إذا كانت تشترك في أجزاء كبيرة من الكود. عند تطوير خوارزميات أو هياكل فهرسة جديدة، يُمكن إعادة استخدام المكونات الموجودة بسهولة، كما أن أمان أنواع جافا يكشف العديد من أخطاء البرمجة في وقت الترجمة.

ELKI أداة مجانية لتحليل البيانات، تركز بشكل أساسي على اكتشاف الأنماط ونقاط البيانات غير المألوفة دون الحاجة إلى تصنيفات. كُتبت بلغة جافا، وتهدف إلى أن تكون سريعة وقادرة على التعامل مع مجموعات البيانات الضخمة باستخدام هياكل خاصة. صُممت هذه الأداة للباحثين والطلاب لإضافة أساليبهم الخاصة ومقارنة الخوارزميات المختلفة بسهولة. ^{[ 2 ]}

استُخدمت خوارزمية ELKI في علم البيانات لتجميع مقاطع صوتية لحيتان العنبر ، ^{[ 3 ]} ولتجميع الصوتيات ، ^{[ 4 ]} وللكشف عن الحالات الشاذة في عمليات رحلات الفضاء ، ^{[ 5 ]} ولإعادة توزيع مشاركة الدراجات ، ^{[ 6 ]} وللتنبؤ بحركة المرور. ^{[ 7 ]}

The university project is developed for use in teaching and research. The source code is written with extensibility and reusability in mind, but is also optimized for performance. The experimental evaluation of algorithms depends on many environmental factors and implementation details can have a large impact on the runtime.^[8] ELKI aims at providing a shared codebase with comparable implementations of many algorithms.

As research project, it currently does not offer integration with business intelligence applications or an interface to common database management systems via SQL. The copyleft (AGPL) license may also be a hindrance to an integration in commercial products; nevertheless it can be used to evaluate algorithms prior to developing an own implementation for a commercial product. Furthermore, the application of the algorithms requires knowledge about their usage, parameters, and study of original literature. The audience is students, researchers, data scientists, and software engineers.

ELKI is modeled around a database-inspired core, which uses a vertical data layout that stores data in column groups (similar to column families in NoSQL databases). This database core provides nearest neighbor search, range/radius search, and distance query functionality with index acceleration for a wide range of dissimilarity measures. Algorithms based on such queries (e.g. k-nearest-neighbor algorithm, local outlier factor and DBSCAN) can be implemented easily and benefit from the index acceleration. The database core also provides fast and memory efficient collections for object collections and associative structures such as nearest neighbor lists.

ELKI makes extensive use of Java interfaces, so that it can be extended easily in many places. For example, custom data types, distance functions, index structures, algorithms, input parsers, and output modules can be added and combined without modifying the existing code. This includes the possibility of defining a custom distance function and using existing indexes for acceleration.

ELKI uses a service loader architecture to allow publishing extensions as separate jar files.

ELKI uses optimized collections for performance rather than the standard Java API.^[9]For loops for example are written similar to C++ iterators:

for ( DBIDIter iter = ids.iter ( ); iter.valid ( ); iter.advance ( )) { relation.get ( iter ); // مثال : الحصول على الكائن المشار إليه idcollection.add ( iter ) ; // مثال: إضافة المرجع إلى مجموعة DBID }

على عكس مُكرِّرات جافا التقليدية (التي تقتصر على التكرار على الكائنات)، يُوفِّر هذا الأسلوب الذاكرة، إذ يُمكن للمُكرِّر استخدام القيم الأولية داخليًا لتخزين البيانات. ويُحسِّن تقليل عملية جمع البيانات المهملة وقت التشغيل. وتستخدم مكتبات المجموعات المُحسَّنة، مثل GNU Trove3 و Kolobooke ، fastutilتحسينات مماثلة. كما تتضمن ELKI هياكل بيانات مثل مجموعات الكائنات والأكوام (لأغراض مثل البحث عن أقرب جار ) باستخدام هذه التحسينات.

تستخدم وحدة العرض المرئي SVG لإنتاج رسومات قابلة للتوسيع، و Apache Batik لعرض واجهة المستخدم، بالإضافة إلى تصديرها بجودة عالية إلى PostScript و PDF ليسهل إدراجها في المنشورات العلمية المكتوبة بلغة LaTeX . يمكن تعديل الملفات المصدرة باستخدام برامج تحرير SVG مثل Inkscape . وبفضل استخدام أوراق الأنماط المتتالية ، يُمكن إعادة تصميم الرسومات بسهولة. مع ذلك، يُعدّ Batik بطيئًا نسبيًا ويستهلك الكثير من الذاكرة، لذا فإنّ العروض المرئية ليست قابلة للتوسيع بشكل كبير مع مجموعات البيانات الضخمة (في مجموعات البيانات الكبيرة، يتم عرض عينة فرعية فقط من البيانات افتراضيًا).

الإصدار 0.4، الذي تم تقديمه في "ندوة قواعد البيانات المكانية والزمانية" 2011، والذي تضمن طرقًا مختلفة للكشف عن القيم الشاذة المكانية، ^{[ 10 ]} فاز بجائزة "أفضل ورقة عرض" في المؤتمر.

اختر الخوارزميات المضمنة: ^{[ 11 ]}

• تحليل التجميع :
  • التجميع باستخدام خوارزمية K-means (بما في ذلك الخوارزميات السريعة مثل Elkan و Hamerly و Annulus و Exponion k-Means، والمتغيرات القوية مثل k-means--)
  • التجميع باستخدام خوارزمية K-medians
  • التجميع باستخدام K-medoids (PAM) (بما في ذلك FastPAM والتقريبات مثل CLARA وCLARANS)
  • خوارزمية التوقع والتعظيم لنمذجة خليط غاوسي
  • التجميع الهرمي (بما في ذلك خوارزميات SLINK وCLINK وNNChain وAnderberg السريعة)
  • التجميع أحادي الارتباط
  • تكتل القادة
  • DBSCAN (التجميع المكاني للتطبيقات القائم على الكثافة مع الضوضاء، مع تسريع الفهرس الكامل لوظائف المسافة التعسفية)
  • OPTICS (نقاط الترتيب لتحديد بنية التجميع)، بما في ذلك الامتدادات OPTICS-OF وDeLi-Clu وHiSC وHiCO وDiSH
  • مسح HDBSCAN
  • التجميع باستخدام إزاحة المتوسط
  • تجميع البتولا
  • SUBCLU (تجميع الفضاء الفرعي المتصل بالكثافة للبيانات عالية الأبعاد)
  • تجميع الزمر
  • التجميع باستخدام ORCLUS و PROCLUS
  • تجميع COPAC و ERiC و 4C
  • تكتل النقد
  • تجميع الفضاء الفرعي لـ DOC و FastDOC
  • تجميع P3C
  • خوارزمية تجميع الغطاء النباتي
• الكشف عن الحالات الشاذة :
  • الكشف عن القيم الشاذة باستخدام خوارزمية أقرب جار k
  • عامل الشذوذ المحلي ( LOF )
  • احتمالات القيم الشاذة المحلية (LoOP)
  • البصريات - من
  • DB-Outlier (القيم الشاذة القائمة على المسافة)
  • LOCI (التكامل الارتباطي المحلي)
  • LDOF (عامل الشذوذ القائم على المسافة المحلية)
  • EM - شاذ
  • SOD (درجة الشذوذ في الفضاء الفرعي)
  • احتمالات الارتباط الشاذة (COP)
• استخراج مجموعات العناصر المتكررة وتعلم قواعد الارتباط
  • خوارزمية Apriori
  • بهاء
  • نمو FP
• تقليل الأبعاد
  • تحليل المكونات الرئيسية
  • التحجيم متعدد الأبعاد
  • تضمين الجوار العشوائي الموزع T (t-SNE)
• هياكل الفهرسة المكانية وفهارس البحث الأخرى:
  • شجرة R
  • شجرة R*
  • شجرة إم
  • شجرة kd
  • شجرة إكس
  • شجرة الغطاء
  • المسافة
  • هبوط NN
  • التجزئة الحساسة للموقع (LSH)
• تقييم:
  • الدقة والاستدعاء ، درجة F1 ، متوسط ​​الدقة
  • منحنى خصائص تشغيل المستقبل (منحنى ROC)
  • الربح التراكمي المخفض (بما في ذلك صافي الربح التراكمي)
  • فهرس الصور الظلية
  • مؤشر ديفيز-بولدين
  • فهرس دان
  • التحقق من صحة التجميع القائم على الكثافة (DBCV)
• التصور
  • مخططات التشتت
  • الرسوم البيانية
  • الإحداثيات المتوازية (أيضًا في ثلاثة أبعاد، باستخدام OpenGL )
• آخر:
  • التوزيعات الإحصائية والعديد من مُقدِّرات المعلمات ، بما في ذلك المُقدِّرات القوية القائمة على متوسط ​​الانحراف المطلق (MAD) والمُقدِّرات القائمة على العزوم L
  • التواء زمني ديناميكي
  • اكتشاف نقاط التغيير في السلاسل الزمنية
  • مقدرات الأبعاد الجوهرية

احتوى الإصدار 0.1 (يوليو 2008) على العديد من الخوارزميات من تحليل التجميع واكتشاف الشذوذ ، بالإضافة إلى بعض هياكل الفهرسة مثل شجرة R* . ركز الإصدار الأول على خوارزميات تجميع الفضاءات الفرعية وتجميع الارتباط . ^{[ 12 ]}

أضاف الإصدار 0.2 (يوليو 2009) وظائف لتحليل السلاسل الزمنية ، وخاصة وظائف المسافة للسلاسل الزمنية. ^{[ 13 ]}

قام الإصدار 0.3 (مارس 2010) بتوسيع نطاق خيارات خوارزميات الكشف عن الشذوذ ووحدات التصور. ^{[ 14 ]}

أضاف الإصدار 0.4 (سبتمبر 2011) خوارزميات لاستخراج البيانات الجغرافية ودعمًا لقواعد البيانات متعددة العلاقات وهياكل الفهرسة. ^{[ 10 ]}

يركز الإصدار 0.5 (أبريل 2012) على تقييم نتائج تحليل التجميع ، ويضيف تصورات جديدة وبعض الخوارزميات الجديدة. ^{[ 15 ]}

يقدم الإصدار 0.6 (يونيو 2013) تعديلاً ثلاثي الأبعاد جديداً للإحداثيات المتوازية لتصور البيانات، بالإضافة إلى الإضافات المعتادة من الخوارزميات وهياكل الفهرسة. ^{[ 16 ]}

يُضيف الإصدار 0.7 (أغسطس 2015) دعمًا لأنواع البيانات غير المؤكدة، وخوارزميات لتحليل البيانات غير المؤكدة. ^{[ 17 ]}

يضيف الإصدار 0.7.5 (فبراير 2019) خوارزميات تجميع إضافية، وخوارزميات كشف الشذوذ، ومقاييس تقييم، وهياكل فهرسة. ^{[ 18 ]}

يضيف الإصدار 0.8 (أكتوبر 2022) إنشاء الفهرس التلقائي، وجمع البيانات المهملة، والبحث التدريجي ذي الأولوية، بالإضافة إلى العديد من الخوارزميات الأخرى مثل BIRCH . ^{[ 19 ]}

• مكتبة scikit-learn : مكتبة تعلم الآلة في بايثون
• ويكا : مشروع مماثل لجامعة وايكاتو، مع التركيز على خوارزميات التصنيف
• RapidMiner : تطبيق متوفر تجارياً (تتوفر نسخة محدودة منه كمصدر مفتوح)
• KNIME : منصة مفتوحة المصدر تدمج مكونات متنوعة للتعلم الآلي واستخراج البيانات

• مقارنة بين الحزم الإحصائية

• الموقع الرسمي لشركة ELKI مع إمكانية التنزيل والوثائق.