استخراج البيانات المتدفقة

يُعدّ استخراج البيانات المتدفقة (المعروف أيضًا باسم التعلم المتدفق ) عملية استخلاص هياكل المعرفة من سجلات البيانات المستمرة والسريعة. ويُعرّف تدفق البيانات بأنه تسلسل مُرتب من الحالات التي لا يمكن قراءتها في العديد من تطبيقات استخراج البيانات المتدفقة إلا مرة واحدة أو عددًا قليلاً من المرات باستخدام قدرات حاسوبية وتخزينية محدودة. ^{[ 1 ]}

في العديد من تطبيقات استخراج البيانات المتدفقة، يتمثل الهدف في التنبؤ بفئة أو قيمة العناصر الجديدة في تدفق البيانات، وذلك بناءً على معرفة مسبقة بانتماء العناصر السابقة أو قيمها في تدفق البيانات. ^{[ 2 ]} يمكن استخدام تقنيات التعلم الآلي لتعلم مهمة التنبؤ هذه من أمثلة مصنفة بطريقة آلية. غالبًا ما تُطبق مفاهيم من مجال التعلم التزايدي للتعامل مع التغيرات الهيكلية، والتعلم الفوري ، ومتطلبات الوقت الفعلي. في العديد من التطبيقات، وخاصةً تلك التي تعمل ضمن بيئات غير مستقرة، قد يتغير التوزيع الأساسي للعناصر أو القواعد التي تحكم تصنيفها بمرور الوقت، أي أن هدف التنبؤ، أو الفئة المراد التنبؤ بها، أو القيمة المستهدفة المراد التنبؤ بها، قد يتغير بمرور الوقت. ^{[ 3 ]} تُعرف هذه المشكلة باسم انحراف المفهوم . ويُعد اكتشاف انحراف المفهوم قضية محورية في استخراج البيانات المتدفقة. ^{[ 4 ]}^{[ 5 ]} تشمل التحديات الأخرى ^{[ 6 ]} التي تظهر عند تطبيق التعلم الآلي على البيانات المتدفقة ما يلي: البيانات المصنفة جزئيًا والمتأخرة، ^{[ 7 ]}^{[ 8 ]} والتعافي من انحرافات المفاهيم، ^{[ 1 ]} والتبعيات الزمنية. ^{[ 9 ]}

تشمل أمثلة تدفقات البيانات حركة مرور شبكات الحاسوب، والمحادثات الهاتفية، ومعاملات أجهزة الصراف الآلي، وعمليات البحث على الإنترنت، وبيانات أجهزة الاستشعار. ويمكن اعتبار استخراج تدفقات البيانات فرعاً من فروع استخراج البيانات ، والتعلم الآلي ، واكتشاف المعرفة .

برنامج لاستخراج البيانات المتدفقة

MOA (التحليل الضخم عبر الإنترنت) : برنامج مجاني مفتوح المصدر مُصمم خصيصًا لاستخراج البيانات من تدفقات البيانات التي تتضمن تغيرات مفاهيمية، ومُطور بلغة جافا. يحتوي على العديد من خوارزميات التعلم الآلي ( التصنيف ، والانحدار ، والتجميع ، واكتشاف القيم الشاذة، وأنظمة التوصية ). كما يتضمن طريقة تقييم تسلسلية، وطرق EDDM لتغير المفاهيم، وقارئًا لمجموعات بيانات ARFF الحقيقية، ومولدات تدفق اصطناعية مثل مفاهيم SEA، وSTAGGER، والمستوى الفائق الدوار ، والشجرة العشوائية، ووظائف تعتمد على نصف القطر العشوائي . يدعم MOA التفاعل ثنائي الاتجاه مع برنامج Weka (التعلم الآلي) .
scikit-multiflow : إطار عمل للتعلم الآلي للبيانات متعددة المخرجات/متعددة التصنيفات وبيانات التدفق، مُنفذ بلغة بايثون. ^{[ 10 ]} يحتوي scikit-multiflow على مولدات تدفق، وطرق تعلم تدفق لأهداف مفردة ومتعددة، وكاشفات انحراف المفاهيم، وطرق التقييم والتصور. (تم إيقاف تطوير هذا البرنامج) ^{[ 11 ]}
StreamDM : هو إطار عمل مفتوح المصدر لاستخراج البيانات الضخمة المتدفقة ، يستخدم امتداد Spark Streaming ^{[ 12 ]} لواجهة برمجة تطبيقات Spark الأساسية. إحدى مزايا StreamDM مقارنةً بالأطر الحالية هي استفادته المباشرة من واجهة برمجة تطبيقات Spark Streaming، التي تعالج الكثير من المشكلات المعقدة لمصادر البيانات الأساسية، مثل البيانات غير المرتبة والتعافي من الأعطال.
RapidMiner : برنامج تجاري لاكتشاف المعرفة، واستخراج البيانات، والتعلم الآلي، ويتميز أيضًا باستخراج تدفق البيانات، وتعلم المفاهيم المتغيرة مع الوقت، وتتبع المفاهيم المتغيرة (إذا تم استخدامه مع ملحق استخراج تدفق البيانات الخاص به (سابقًا: ملحق انحراف المفهوم)).
RiverML : River هي مكتبة بايثون للتعلم الآلي عبر الإنترنت. وهي نتاج دمج مكتبتي creme و scikit-multiflow. تطمح River إلى أن تصبح المكتبة المفضلة لتطبيق التعلم الآلي على البيانات المتدفقة. ^{[ 13 ]}
غايناري : شجرة قرارات تزايدية مكتوبة بلغة C++. تقوم باستمرار بإدراج وتحديث مجموعات البيانات المجزأة. تدعم إعادة بناء حلول لمشاكل تغير المفاهيم.

الفعاليات

ورشة العمل الدولية حول استخراج البيانات المنتشرة، مؤرشفة بتاريخ 23-02-2013 في Wayback Machine، والتي عُقدت بالتزامن مع المؤتمر الدولي المشترك حول الذكاء الاصطناعي (IJCAI) في بكين، الصين، في الفترة من 3 إلى 5 أغسطس 2013.
ورشة عمل دولية حول اكتشاف المعرفة من تدفقات البيانات المنتشرة، مؤرشفة في 16 فبراير 2012 على موقع Wayback Machine، عُقدت بالتزامن مع المؤتمر الأوروبي الثامن عشر للتعلم الآلي (ECML) والمؤتمر الأوروبي الحادي عشر حول مبادئ وممارسات اكتشاف المعرفة في قواعد البيانات (PKDD) في وارسو، بولندا، في سبتمبر 2007.
ندوة ACM حول الحوسبة التطبيقية مسار تدفقات البيانات التي عقدت بالتزامن مع ندوة ACM لعام 2007 حول الحوسبة التطبيقية (SAC-2007) في سيول ، كوريا ، في مارس 2007.
ورشة عمل IEEE الدولية حول استخراج البيانات المتطورة والمتدفقة (IWMESD 2006) التي ستعقد بالتزامن مع المؤتمر الدولي IEEE لعام 2006 حول استخراج البيانات (ICDM-2006) في هونغ كونغ في ديسمبر 2006.
ورشة العمل الدولية الرابعة حول اكتشاف المعرفة من تدفقات البيانات (IWKDDS) التي ستعقد بالتزامن مع المؤتمر الأوروبي السابع عشر حول التعلم الآلي (ECML) والمؤتمر الأوروبي العاشر حول مبادئ وممارسات اكتشاف المعرفة في قواعد البيانات (PKDD) (ECML/PKDD-2006) في برلين ، ألمانيا ، في سبتمبر 2006.

انظر أيضاً

الكتب

بيفيت، ألبرت؛ جافالدا، ريكارد؛ هولمز، جيف؛ بفاهرينجر، برنارد (2018). التعلم الآلي لتدفقات البيانات مع أمثلة عملية في MOA . الحوسبة التكيفية والتعلم الآلي. مطبعة معهد ماساتشوستس للتكنولوجيا. ص 288. ISBN 9780262037792.
جاما، جواو؛ جابر، محمد مدحت، محرران. (2007). التعلم من تدفقات البيانات: تقنيات المعالجة في شبكات الاستشعار . سبرينغر. ص 244. doi : 10.1007/3-540-73679-4 . ISBN 9783540736783.
غانغولي، أوروب ر.؛ غاما، جواو؛ أوميتاومو، أولوفيمي أ.؛ جابر، محمد م.؛ فاتسافاي، رانغا ر.، محرران. (2008). اكتشاف المعرفة من بيانات المستشعرات . الابتكار الصناعي. مطبعة سي آر سي. ص 215. ISBN 9781420082326.
جاما، جواو (2010). اكتشاف المعرفة من تدفقات البيانات . التنقيب في البيانات واكتشاف المعرفة. تشابمان وهول. ص 255. ISBN 9781439826119.
لوغوفر، إدوين (2011). الأنظمة الضبابية المتطورة - المنهجيات والمفاهيم المتقدمة والتطبيقات . دراسات في الضبابية والحوسبة المرنة. المجلد 266. هايدلبرغ: سبرينغر. ص 456. doi : 10.1007/978-3-642-18087-3 . ISBN 9783642180866.
سيد-موشاوه، معمر؛ لوغوفر، إدوين، محرران. (2012). التعلم في بيئات غير ثابتة: مناهج وتطبيقات . نيويورك: سبرينغر. ص 440. CiteSeerX 10.1.1.709.437 . doi : 10.1007/978-1-4419-8020-5 . ISBN 9781441980199.

مراجع

1 2 غوميز، هيتور م.؛ بيفيت، ألبرت؛ ريد، جيسي؛ باردال، جان بول؛ إينمبريك، فابريسيو؛ بفارينجر، برنارد؛ هولمز، جيف؛ عبد السلام، طلال (2017-10-01). "الغابات العشوائية التكيفية لتصنيف تدفق البيانات المتطور" . تعلم الآلة . 106 (9): 1469-1495 . doi : 10.1007/s10994-017-5642-8 . hdl : 10289/11231 . ISSN 1573-0565 .
↑ مدحت، محمد؛ زاسلافسكي؛ كريشناسوامي (1 يونيو 2005). "استخراج البيانات من تدفقات البيانات". سجل ACM SIGMOD . 34 (2): 18-26 . doi : 10.1145/1083784.1083789 . S2CID 705946 .
↑ لومير، فنسنت؛ سالبرويك، كريستوف؛ بوندو، ألكسيس (2015)، "دراسة استقصائية حول التصنيف الخاضع للإشراف على تدفقات البيانات"، في زيماني، إستيبان؛ كوتشه، رالف-ديتليف (محرران)، ذكاء الأعمال: المدرسة الصيفية الأوروبية الرابعة، eBISS 2014، برلين، ألمانيا، 6-11 يوليو 2014، محاضرات تعليمية ، سلسلة محاضرات في معالجة معلومات الأعمال، دار نشر سبرينغر الدولية، ص 88-125 ، doi : 10.1007/978-3-319-17551-5_4 ، ISBN 978-3-319-17551-5
↑ ويب، جيفري آي؛ لي، لونغ كوان؛ بيتيجان، فرانسوا؛ جوثالز، بارت (2017-04-02). "فهم انجراف المفهوم". arXiv : 1704.00362 [ cs.LG ].
↑ غاما، جواو؛ زليوبايتي؛ بيفيت؛ بيتشينيزكي؛ بوشاتشيا (2014-03-01). "دراسة استقصائية حول التكيف مع تغير المفاهيم" (ملف PDF) . مجلة ACM Computing Surveys . 46 (4): 1–37 . doi : 10.1145/2523813 . S2CID 207208264 .
↑ غوميز، هيتور موريلو؛ ريد؛ بيفيت؛ باردال؛ غاما (26 نوفمبر 2019). "التعلم الآلي لبيانات البث المباشر". نشرة ACM SIGKDD Explorations الإخبارية . 21 (2): 6-22 . doi : 10.1145/3373464.3373470 . S2CID 208607941 .
↑ غوميز، هيتور موريلو؛ غرزيندا، ماسيج؛ ميلو، رودريغو؛ ريد، جيسي؛ لي نغوين، مينه هوونغ؛ بيفيت، ألبرت (28 فبراير 2022). "دراسة استقصائية حول التعلم شبه الموجه لتدفقات البيانات المتأخرة ذات التصنيف الجزئي" . مجلة ACM Computing Surveys . 55 (4): 1–42 . arXiv : 2106.09170 . doi : 10.1145/3523055 . ISSN 0360-0300 .
↑ جرزيندا، ماسيج؛ غوميز، هيتور موريلو؛ بيفيت، ألبرت (16 نوفمبر 2019). "تقييم التصنيف المؤجل لتدفقات البيانات" . استخراج البيانات واكتشاف المعرفة . 34 (5): 1237-1266 . doi : 10.1007/s10618-019-00654-y . ISSN 1573-756X .
↑ زليوبايتي، إندري؛ بيفيت، ألبرت؛ ريد، جيسي؛ بفاهرينجر، برنارد؛ هولمز، جيف (2015-03-01). "أساليب التقييم ونظرية القرار لتصنيف البيانات المتدفقة ذات التبعية الزمنية" . تعلم الآلة . 98 (3): 455-482 . doi : 10.1007/s10994-014-5441-4 . hdl : 10289/8954 . ISSN 1573-0565 .
↑ مونتيل، جاكوب؛ ريد، جيسي؛ بيفيت، ألبرت؛ عبد السلام، طلال (2018). "Scikit-Multiflow: إطار عمل للبث متعدد المخرجات" . مجلة أبحاث تعلم الآلة . 19 (72): 1-5 . arXiv : 1807.04662 . Bibcode : 2018arXiv180704662M . ISSN 1533-7928 .
↑ الميزات ، scikit-multiflow، 9 أكتوبر 2021 ، تم الاطلاع عليه في 11 أكتوبر 2021
↑ زاهاريا، ماتي؛ داس، تاتاغاتا؛ لي، هاويوان؛ هنتر، تيموثي؛ شينكر، سكوت؛ ستويكا، أيون (2013). "التدفقات المتقطعة". وقائع الندوة الرابعة والعشرين لجمعية ACM حول مبادئ أنظمة التشغيل . نيويورك، نيويورك، الولايات المتحدة الأمريكية: مطبعة ACM. الصفحات 423-438 . doi : 10.1145/2517349.2522737 . ISBN 978-1-4503-2388-8.
↑ online-ml/river ، OnlineML، 11-10-2021 ، تم الاطلاع عليه في 11-10-2021

[:0-1] 1 2 غوميز، هيتور م.؛ بيفيت، ألبرت؛ ريد، جيسي؛ باردال، جان بول؛ إينمبريك، فابريسيو؛ بفارينجر، برنارد؛ هولمز، جيف؛ عبد السلام، طلال (2017-10-01). "الغابات العشوائية التكيفية لتصنيف تدفق البيانات المتطور" . تعلم الآلة . 106 (9): 1469-1495 . doi : 10.1007/s10994-017-5642-8 . hdl : 10289/11231 . ISSN 1573-0565 .

[2] مدحت، محمد؛ زاسلافسكي؛ كريشناسوامي (1 يونيو 2005). "استخراج البيانات من تدفقات البيانات". سجل ACM SIGMOD . 34 (2): 18-26 . doi : 10.1145/1083784.1083789 . S2CID 705946 .

[3] لومير، فنسنت؛ سالبرويك، كريستوف؛ بوندو، ألكسيس (2015)، "دراسة استقصائية حول التصنيف الخاضع للإشراف على تدفقات البيانات"، في زيماني، إستيبان؛ كوتشه، رالف-ديتليف (محرران)، ذكاء الأعمال: المدرسة الصيفية الأوروبية الرابعة، eBISS 2014، برلين، ألمانيا، 6-11 يوليو 2014، محاضرات تعليمية ، سلسلة محاضرات في معالجة معلومات الأعمال، دار نشر سبرينغر الدولية، ص 88-125 ، doi : 10.1007/978-3-319-17551-5_4 ، ISBN 978-3-319-17551-5

[4] ويب، جيفري آي؛ لي، لونغ كوان؛ بيتيجان، فرانسوا؛ جوثالز، بارت (2017-04-02). "فهم انجراف المفهوم". arXiv : 1704.00362 [ cs.LG ].

[5] غاما، جواو؛ زليوبايتي؛ بيفيت؛ بيتشينيزكي؛ بوشاتشيا (2014-03-01). "دراسة استقصائية حول التكيف مع تغير المفاهيم" (ملف PDF) . مجلة ACM Computing Surveys . 46 (4): 1–37 . doi : 10.1145/2523813 . S2CID 207208264 .

[6] غوميز، هيتور موريلو؛ ريد؛ بيفيت؛ باردال؛ غاما (26 نوفمبر 2019). "التعلم الآلي لبيانات البث المباشر". نشرة ACM SIGKDD Explorations الإخبارية . 21 (2): 6-22 . doi : 10.1145/3373464.3373470 . S2CID 208607941 .

[7] غوميز، هيتور موريلو؛ غرزيندا، ماسيج؛ ميلو، رودريغو؛ ريد، جيسي؛ لي نغوين، مينه هوونغ؛ بيفيت، ألبرت (28 فبراير 2022). "دراسة استقصائية حول التعلم شبه الموجه لتدفقات البيانات المتأخرة ذات التصنيف الجزئي" . مجلة ACM Computing Surveys . 55 (4): 1–42 . arXiv : 2106.09170 . doi : 10.1145/3523055 . ISSN 0360-0300 .

[8] جرزيندا، ماسيج؛ غوميز، هيتور موريلو؛ بيفيت، ألبرت (16 نوفمبر 2019). "تقييم التصنيف المؤجل لتدفقات البيانات" . استخراج البيانات واكتشاف المعرفة . 34 (5): 1237-1266 . doi : 10.1007/s10618-019-00654-y . ISSN 1573-756X .

[9] زليوبايتي، إندري؛ بيفيت، ألبرت؛ ريد، جيسي؛ بفاهرينجر، برنارد؛ هولمز، جيف (2015-03-01). "أساليب التقييم ونظرية القرار لتصنيف البيانات المتدفقة ذات التبعية الزمنية" . تعلم الآلة . 98 (3): 455-482 . doi : 10.1007/s10994-014-5441-4 . hdl : 10289/8954 . ISSN 1573-0565 .

[10] مونتيل، جاكوب؛ ريد، جيسي؛ بيفيت، ألبرت؛ عبد السلام، طلال (2018). "Scikit-Multiflow: إطار عمل للبث متعدد المخرجات" . مجلة أبحاث تعلم الآلة . 19 (72): 1-5 . arXiv : 1807.04662 . Bibcode : 2018arXiv180704662M . ISSN 1533-7928 .

[11] الميزات ، scikit-multiflow، 9 أكتوبر 2021 ، تم الاطلاع عليه في 11 أكتوبر 2021

[12] زاهاريا، ماتي؛ داس، تاتاغاتا؛ لي، هاويوان؛ هنتر، تيموثي؛ شينكر، سكوت؛ ستويكا، أيون (2013). "التدفقات المتقطعة". وقائع الندوة الرابعة والعشرين لجمعية ACM حول مبادئ أنظمة التشغيل . نيويورك، نيويورك، الولايات المتحدة الأمريكية: مطبعة ACM. الصفحات 423-438 . doi : 10.1145/2517349.2522737 . ISBN 978-1-4503-2388-8.

[13] online-ml/river ، OnlineML، 11-10-2021 ، تم الاطلاع عليه في 11-10-2021

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]