البيانات غير المنظمة

الموسوعة الحرة
سجلات غير مصنفة تم الاستيلاء عليها من ألمانيا النازية في مركز السجلات العسكرية التابع للأرشيف الوطني الأمريكي في الإسكندرية، فيرجينيا ، 1956

البيانات غير المنظمة (أو المعلومات غير المنظمة ) هي معلومات لا تحتوي على نموذج بيانات محدد مسبقًا أو غير منظمة بطريقة محددة مسبقًا. المعلومات غير المنظمة عادة ما تكون كثيفة النص ، ولكنها قد تحتوي على بيانات مثل التواريخ والأرقام والحقائق أيضًا. يؤدي هذا إلى مخالفات وغموض يجعل من الصعب فهمها باستخدام البرامج التقليدية مقارنة بالبيانات المخزنة في شكل حقلي في قواعد البيانات أو الموضحة ( المُوسومة دلاليًا ) في المستندات.

في عام 1998، صرحت شركة ميريل لينش أن "البيانات غير المنظمة تشكل الغالبية العظمى من البيانات الموجودة في أي منظمة، وتشير بعض التقديرات إلى أن هذه النسبة تصل إلى 80%". [1] ومن غير الواضح ما هو مصدر هذا الرقم، ولكن مع ذلك فهو مقبول من قبل البعض. [2] وقد أفادت مصادر أخرى بنسب مماثلة أو أعلى من البيانات غير المنظمة. [3] [4] [5]

اعتبارًا من عام 2012 ، تتوقع IDC و Dell EMC أن تنمو البيانات إلى 40 زيتابايت بحلول عام 2020، مما يؤدي إلى نمو بمقدار 50 ضعفًا عن بداية عام 2010. [6] وفي الآونة الأخيرة، تتوقع IDC و Seagate أن ينمو مجال البيانات العالمي إلى 163 زيتابايت بحلول عام 2025 [7] وستكون غالبية هذه البيانات غير منظمة. تنص مجلة Computer World على أن المعلومات غير المنظمة قد تشكل أكثر من 70-80٪ من جميع البيانات في المؤسسات. [1]

خلفية

ركزت أقدم الأبحاث في مجال استخبارات الأعمال على البيانات النصية غير المنظمة، بدلاً من البيانات الرقمية. [8] منذ عام 1958، كان باحثو علوم الكمبيوتر مثل HP Luhn مهتمين بشكل خاص باستخراج وتصنيف النص غير المنظم. [8] ومع ذلك، فقط منذ مطلع القرن العشرين، لحقت التكنولوجيا باهتمام البحث. في عام 2004، طور معهد SAS برنامج SAS Text Miner، الذي يستخدم تحلل القيمة المفردة (SVD) لتقليل مساحة نصية متعددة الأبعاد إلى أبعاد أصغر من أجل تحليل آلي أكثر كفاءة بشكل ملحوظ. [9] دفعت التطورات الرياضية والتكنولوجية التي أشعلتها التحليلات النصية الآلية عددًا من الشركات إلى البحث في التطبيقات، مما أدى إلى تطوير مجالات مثل تحليل المشاعر ، واستخراج صوت العميل ، وتحسين مركز الاتصال. [10] أدى ظهور البيانات الضخمة في أواخر العقد الأول من القرن الحادي والعشرين إلى زيادة الاهتمام بتطبيقات تحليلات البيانات غير المنظمة في المجالات المعاصرة مثل التحليلات التنبؤية وتحليل السبب الجذري . [11]

مشاكل مع المصطلحات

إن المصطلح غير دقيق لعدة أسباب:

  1. على الرغم من عدم تحديد الهيكل رسميًا، إلا أنه لا يزال من الممكن الإشارة إليه ضمناً.
  2. لا تزال البيانات التي تحتوي على شكل ما من أشكال البنية يمكن وصفها بأنها غير منظمة إذا لم يكن بنيتها مفيدة لمهمة المعالجة المطروحة.
  3. قد تحتوي المعلومات غير المنظمة على بعض البنية ( شبه منظمة ) أو حتى تكون منظمة للغاية ولكن بطرق غير متوقعة أو غير معلنة.

التعامل مع البيانات غير المنظمة

توفر تقنيات مثل استخراج البيانات ومعالجة اللغة الطبيعية وتحليل النصوص طرقًا مختلفة للعثور على أنماط في هذه المعلومات أو تفسيرها بطريقة أخرى. تتضمن التقنيات الشائعة لهيكلة النص عادةً وضع علامات يدوية باستخدام البيانات الوصفية أو وضع علامات على أجزاء الكلام لمزيد من الهيكلة القائمة على استخراج النصوص . قدم معيار هندسة إدارة المعلومات غير المنظمة (UIMA) إطارًا مشتركًا لمعالجة هذه المعلومات لاستخراج المعنى وإنشاء بيانات منظمة حول المعلومات.

يمكن للبرمجيات التي تنشئ بنية قابلة للمعالجة بواسطة الآلة الاستفادة من البنية اللغوية والسمعية والبصرية الموجودة في جميع أشكال الاتصال البشري. [12] يمكن للخوارزميات استنتاج هذه البنية المتأصلة من النص، على سبيل المثال، من خلال فحص مورفولوجيا الكلمات وبنية الجملة وأنماط أخرى صغيرة وكبيرة الحجم. يمكن بعد ذلك إثراء المعلومات غير المنظمة ووضع علامات عليها لمعالجة الغموض والتقنيات القائمة على الصلة ثم استخدامها لتسهيل البحث والاكتشاف. قد تتضمن أمثلة "البيانات غير المنظمة" الكتب والمجلات والمستندات والبيانات الوصفية والسجلات الصحية والصوت والفيديو والبيانات التناظرية والصور والملفات والنص غير المنظم مثل نص رسالة البريد الإلكتروني أو صفحة الويب أو مستند معالج الكلمات . في حين أن المحتوى الرئيسي الذي يتم نقله ليس له بنية محددة، فإنه يأتي عمومًا معبأ في كائنات (على سبيل المثال في الملفات أو المستندات، ...) التي لها بنية في حد ذاتها وبالتالي فهي مزيج من البيانات المنظمة وغير المنظمة، ولكن بشكل جماعي لا يزال يشار إليها باسم "البيانات غير المنظمة". [13] على سبيل المثال، يتم وضع علامات على صفحة ويب HTML ، ولكن عادةً ما يتم استخدام علامات HTML فقط للعرض. ولا تلتقط معنى أو وظيفة العناصر التي تم وضع علامات عليها بطرق تدعم المعالجة الآلية لمحتوى المعلومات في الصفحة. تسمح علامات XHTML بالمعالجة الآلية للعناصر، على الرغم من أنها لا تلتقط أو تنقل عادةً المعنى الدلالي للمصطلحات التي تم وضع علامات عليها.

نظرًا لأن البيانات غير المنظمة توجد عادةً في المستندات الإلكترونية ، فإن استخدام نظام إدارة المحتوى أو المستندات الذي يمكنه تصنيف المستندات بالكامل يُفضَّل غالبًا على نقل البيانات ومعالجتها من داخل المستندات. وبالتالي توفر إدارة المستندات الوسيلة لنقل البنية إلى مجموعات المستندات .

أصبحت محركات البحث أدوات شائعة للفهرسة والبحث من خلال مثل هذه البيانات، وخاصة النصوص.

مناهج معالجة اللغة الطبيعية

تم تطوير تدفقات عمل حسابية محددة لفرض البنية على البيانات غير المنظمة الموجودة داخل المستندات النصية. تم تصميم تدفقات العمل هذه بشكل عام للتعامل مع مجموعات من الآلاف أو حتى الملايين من المستندات، أو أكثر بكثير مما قد تسمح به الأساليب اليدوية للتعليق التوضيحي. تستند العديد من هذه الأساليب إلى مفهوم المعالجة التحليلية عبر الإنترنت، أو OLAP ، وقد تكون مدعومة بنماذج البيانات مثل مكعبات النص. [14] بمجرد توفر بيانات تعريف المستند من خلال نموذج البيانات، يمكن إجراء إنشاء ملخصات لمجموعات فرعية من المستندات (أي الخلايا داخل مكعب النص) باستخدام أساليب تعتمد على العبارات. [15]

مناهج الطب والبحث الطبي الحيوي

يولد البحث الطبي الحيوي مصدرًا رئيسيًا للبيانات غير المنظمة حيث ينشر الباحثون غالبًا نتائجهم في المجلات العلمية. على الرغم من أن اللغة المستخدمة في هذه المستندات تشكل تحديًا لاستخلاص العناصر الهيكلية منها (على سبيل المثال، بسبب المفردات الفنية المعقدة الواردة فيها والمعرفة بالمجال المطلوبة لوضع الملاحظات في سياقها الكامل)، إلا أن نتائج هذه الأنشطة قد تؤدي إلى روابط بين الدراسات الفنية والطبية [16] وإشارات تتعلق بعلاجات الأمراض الجديدة. [17] تشمل الجهود الأخيرة لفرض البنية على المستندات الطبية الحيوية مناهج الخرائط ذاتية التنظيم لتحديد الموضوعات بين المستندات، [18] والخوارزميات غير الخاضعة للإشراف للأغراض العامة ، [19] وتطبيق سير عمل CaseOLAP [15] لتحديد الارتباطات بين أسماء البروتينات وموضوعات أمراض القلب والأوعية الدموية في الأدبيات. [20] يحدد CaseOLAP علاقات العبارات والفئات بطريقة دقيقة (تحدد العلاقات) ومتسقة (قابلة للتكرار بدرجة كبيرة) وفعالة. توفر هذه المنصة إمكانية وصول محسنة وتمكن مجتمع الطب الحيوي من أدوات استخراج العبارات لتطبيقات البحث الطبي الحيوي على نطاق واسع. [20]

استخدام مصطلح "غير منظم" في لوائح خصوصية البيانات

في السويد (الاتحاد الأوروبي)، قبل عام 2018، لم تكن بعض لوائح خصوصية البيانات تنطبق إذا تم تأكيد البيانات المعنية على أنها "غير منظمة". [21] نادرًا ما يتم استخدام مصطلح البيانات غير المنظمة في الاتحاد الأوروبي بعد دخول اللائحة العامة لحماية البيانات حيز التنفيذ في عام 2018. لا يذكر اللائحة العامة لحماية البيانات "البيانات غير المنظمة" ولا يعرفها. إنه يستخدم كلمة "منظمة" على النحو التالي (دون تعريفها)؛

  • أجزاء من الفقرة 15 من اللائحة العامة لحماية البيانات، "ينبغي أن تنطبق حماية الأشخاص الطبيعيين على معالجة البيانات الشخصية ... إذا ... كانت موجودة في نظام الملفات."
  • المادة 4 من اللائحة العامة لحماية البيانات، "نظام الملفات" يعني أي مجموعة منظمة من البيانات الشخصية التي يمكن الوصول إليها وفقًا لمعايير محددة ..."

إن أحكام القضاء بشأن تعريف "نظام الملفات"؛ "المعيار المحدد والشكل المحدد الذي يتم به تنظيم مجموعة البيانات الشخصية التي يجمعها كل من الأعضاء المشاركين في الوعظ ليس له أهمية، طالما أن مجموعة البيانات هذه تجعل من الممكن استرجاع البيانات المتعلقة بشخص معين تم الاتصال به بسهولة ، وهو ما يتعين على المحكمة المرجعية التأكد منه في ضوء جميع ظروف القضية في الإجراءات الرئيسية." ( محكمة العدل الأوروبية ، Todistajat v. Tietosuojavaltuutettu, Jehovan، الفقرة 61).

إذا كان من السهل استرجاع البيانات الشخصية - فهذا يعني أنها نظام حفظ ملفات - وبالتالي فهي تقع ضمن نطاق اللائحة العامة لحماية البيانات بغض النظر عن كونها "مهيكلة" أو "غير مهيكلة". يمكن لمعظم الأنظمة الإلكترونية اليوم، [ حتى الآن؟ ] الخاضعة للوصول والبرامج المطبقة، أن تسمح باسترجاع البيانات بسهولة.

انظر أيضا

ملحوظات

  1. ^ التحدي الذي تواجهه الحكومة اليوم: ماذا نفعل بالمعلومات غير المنظمة ولماذا لا يعد عدم القيام بأي شيء خيارًا، نويل يوهانا، المحلل الرئيسي، فورستر للأبحاث ، نوفمبر 2010

مراجع

  1. ^ Shilakes, Christopher C.; Tylman, Julie (16 Nov 1998). "Enterprise Information Portals" (PDF) . Merrill Lynch . مؤرشف من الأصل (PDF) في 24 يوليو 2011.
  2. ^ جرايمز، سيث (1 أغسطس 2008). "البيانات غير المنظمة وقاعدة الثمانين بالمائة". تحليل اختراقي - نقاط الجسر . كلارابريدج.
  3. ^ Gandomi, Amir; Haider, Murtaza (April 2015). "Beyond the hype: Big data concepts, methods, and analytics". International Journal of Information Management . 35 (2): 137–144. doi : 10.1016/j.ijinfomgt.2014.10.007 . ISSN  0268-4012.
  4. ^ "أكبر تحديات البيانات التي قد لا تعرف حتى أنك تواجهها - واتسون". واتسون . 2016-05-25 . تم الاسترجاع 2018-10-02 .
  5. ^ "البيانات المنظمة مقابل البيانات غير المنظمة". www.datamation.com . تم الاسترجاع في 2018-10-02 .
  6. ^ "بيان صحفي صادر عن شركة EMC: دراسة جديدة عن العالم الرقمي تكشف عن فجوة كبيرة في البيانات: أقل من 1% من بيانات العالم يتم تحليلها؛ وأقل من 20% منها محمية". www.emc.com . شركة EMC. ديسمبر 2012.
  7. ^ "Trends | Seagate US". Seagate.com . تم الاسترجاع في 2018-10-01 .
  8. ^ ab Grimes, Seth. "تاريخ موجز لتحليلات النصوص". B Eye Network . تم الاسترجاع في 24 يونيو 2016 .
  9. ^ ألبرايت، روس. "ترويض النص باستخدام SVD" (PDF) . SAS . مؤرشف من الأصل (PDF) في 2016-09-30 . تم الاسترجاع في 24 يونيو 2016 .
  10. ^ Desai, Manish (2009-08-09). "Applications of Text Analytics". My Business Analytics @ Blogspot . تم الاسترجاع في 24 يونيو 2016 .
  11. ^ تشاكرابورتي، جوتام. "تحليل البيانات غير المنظمة: تطبيقات تحليلات النصوص واستخراج المشاعر" (PDF) . SAS . تم الاسترجاع في 24 يونيو 2016 .
  12. ^ "البنية والنماذج والمعنى: هل البيانات "غير المنظمة" مجرد بيانات غير نموذجية؟". InformationWeek . 1 مارس 2005.
  13. ^ مالون، روبرت (5 أبريل 2007). "هيكلة البيانات غير المنظمة". فوربس .
  14. ^ لين، سيندي شيد؛ دينج، بولين؛ هان، جياوي؛ تشو، فيدا؛ تشاو، بو (ديسمبر 2008). "مكعب النص: حساب مقاييس الأشعة تحت الحمراء لتحليل قاعدة بيانات النصوص متعددة الأبعاد". المؤتمر الدولي الثامن لمعهد مهندسي الكهرباء والإلكترونيات حول استخراج البيانات 2008. IEEE. ص. 905-910. CiteSeerX 10.1.1.215.3177 . doi :10.1109/icdm.2008.135. ISBN  9780769535029. S2CID  1522480.
  15. ^ أب تاو ، فانجبو. تشوانغ، هونغلي؛ يو تشي وانغ. وانغ، تشي؛ كاسيدي، تايلور؛ كابلان، لانس؛ فوس، كلير. هان جياوي (2016). "تلخيص متعدد الأبعاد قائم على العبارات في مكعبات نصية" (PDF) .
  16. ^ كولير، نايجل؛ نازارينكو، أدلين؛ بود، روبرت؛ روش، باتريك (يونيو 2006). "التطورات الحديثة في معالجة اللغة الطبيعية للتطبيقات الطبية الحيوية". المجلة الدولية للمعلوماتية الطبية . 75 (6): 413-417. doi :10.1016/j.ijmedinf.2005.06.008. ISSN  1386-5056. PMID  16139564. S2CID  31449783.
  17. ^ جونزاليس، جراسيلا هـ.؛ تحسين، تسنيا؛ جودال، بريتون س.؛ جرين، آنا س.؛ جرين، كيسي س. (يناير 2016). "التطورات الحديثة والتطبيقات الناشئة في استخراج النصوص والبيانات من أجل الاكتشافات الطبية الحيوية". Briefings in Bioinformatics . 17 (1): 33–42. doi :10.1093/bib/bbv087. ISSN  1477-4054. PMC 4719073. PMID 26420781  . 
  18. ^ Skupin, André; Biberstine, Joseph R.; Börner, Katy (2013). "Visualizing the topical structure of the medical sciences: a self-organizing map approach". PLOS ONE . 8 (3): e58779. Bibcode :2013PLoSO...858779S. doi : 10.1371/journal.pone.0058779 . ISSN  1932-6203. PMC 3595294. PMID 23554924  . 
  19. ^ Kiela, Douwe; Guo, Yufan; Stenius, Ulla; Korhonen, Anna (2015-04-01). "اكتشاف غير خاضع للإشراف لبنية المعلومات في الوثائق الطبية الحيوية". Bioinformatics . 31 (7): 1084–1092. doi : 10.1093/bioinformatics/btu758 . ISSN  1367-4811. PMID  25411329.
  20. ^ ab Liem, David A.; Murali, Sanjana; Sigdel, Dibakar; Shi, Yu; Wang, Xuan; Shen, Jiaming; Choi, Howard; Caufield, John H.; Wang, Wei; Ping, Peipei; Han, Jiawei (Oct 1, 2018). "استخراج العبارات من البيانات النصية لتحليل أنماط بروتين المصفوفة خارج الخلية عبر أمراض القلب والأوعية الدموية". المجلة الأمريكية لعلم وظائف الأعضاء. علم وظائف القلب والدورة الدموية . 315 (4): H910–H924. doi :10.1152/ajpheart.00175.2018. ISSN  1522-1539. PMC 6230912. PMID 29775406  . 
  21. ^ "لوائح خصوصية البيانات السويدية تتوقف عن الفصل بين "غير المنظم" و"المنظم"".
  • مطابقة البيانات غير المنظمة والبيانات المنظمة
  • وصف موجز للبيانات المنظمة
  • تعريف البيانات غير المنظمة، الأمثلة، الفوائد والتحديات
تم الاسترجاع من "https://en.wikipedia.org/w/index.php?title=بيانات_غير_مهيكلة&oldid=1248332356"
Original text
Rate this translation
Your feedback will be used to help improve Google Translate