التعرف على الكتابة اليدوية

الموسوعة الحرة

توقيع نجم موسيقى الريف تكس ويليامز

التعرف على الكتابة اليدوية ( HWR )، المعروف أيضًا باسم التعرف على النصوص المكتوبة بخط اليد ( HTR )، هو قدرة الحاسوب على استقبال وتفسير مدخلات مكتوبة بخط اليد بشكل مفهوم من مصادر مثل المستندات الورقية والصور الفوتوغرافية وشاشات اللمس وغيرها من الأجهزة. [ 1 ] [ 2 ] يمكن استشعار صورة النص المكتوب "خارج الخط" من ورقة عن طريق المسح الضوئي ( التعرف الضوئي على الأحرف ) أو التعرف الذكي على الكلمات . بدلاً من ذلك، يمكن استشعار حركات رأس القلم "أثناء الخط"، على سبيل المثال من خلال سطح شاشة حاسوب مزود بقلم، وهي مهمة أسهل عمومًا نظرًا لتوافر المزيد من المؤشرات. يتولى نظام التعرف على الكتابة اليدوية معالجة التنسيق، وإجراء التجزئة الصحيحة إلى أحرف، وإيجاد أكبر عدد ممكن من الكلمات.

التعرف دون اتصال بالإنترنت

تتضمن تقنية التعرف على الكتابة اليدوية دون اتصال بالإنترنت التحويل التلقائي للنص الموجود في الصورة إلى رموز حروف قابلة للاستخدام في تطبيقات الحاسوب ومعالجة النصوص. تُعتبر البيانات الناتجة عن هذه التقنية تمثيلاً ثابتاً للكتابة اليدوية. يُعدّ التعرف على الكتابة اليدوية دون اتصال بالإنترنت صعباً نسبياً، نظراً لاختلاف أنماط الكتابة اليدوية بين الأشخاص. وحتى الآن، تركز محركات التعرف الضوئي على الحروف (OCR) بشكل أساسي على النصوص المطبوعة آلياً، بينما تركز محركات التعرف الذكي على الحروف (ICR) على النصوص المكتوبة بخط اليد (بأحرف كبيرة).

التقنيات التقليدية

استخراج الأحرف

غالبًا ما تتضمن عملية التعرف على الأحرف دون اتصال بالإنترنت مسح نموذج أو مستند ضوئيًا. وهذا يعني ضرورة استخراج الأحرف الفردية الموجودة في الصورة الممسوحة ضوئيًا. توجد أدوات قادرة على أداء هذه الخطوة. [ 3 ] ومع ذلك، توجد عدة عيوب شائعة في هذه الخطوة. وأكثرها شيوعًا هو ظهور الأحرف المتصلة كصورة فرعية واحدة تحتوي على كلا الحرفين. وهذا يُسبب مشكلة كبيرة في مرحلة التعرف. ومع ذلك، تتوفر العديد من الخوارزميات التي تُقلل من خطر الأحرف المتصلة.

التعرف على الشخصيات

بعد استخراج الأحرف الفردية، يُستخدم محرك التعرف لتحديد الحرف المقابل في الحاسوب. وتتوفر حاليًا عدة تقنيات مختلفة للتعرف.

استخلاص الميزات

يعمل استخلاص الميزات بطريقة مشابهة لأنظمة التعرف القائمة على الشبكات العصبية. مع ذلك، يتعين على المبرمجين تحديد الخصائص التي يرونها مهمة يدويًا. يمنح هذا الأسلوب نظام التعرف مزيدًا من التحكم في الخصائص المستخدمة في عملية التعرف. لكن أي نظام يستخدم هذا الأسلوب يتطلب وقتًا أطول بكثير للتطوير مقارنةً بالشبكة العصبية، لأن الخصائص لا تُتعلّم تلقائيًا.

التقنيات الحديثة

بينما تركز التقنيات التقليدية على تجزئة الأحرف الفردية للتعرف عليها، تركز التقنيات الحديثة على التعرف على جميع الأحرف في سطر نصي مُجزأ. وتركز هذه التقنيات بشكل خاص على تقنيات التعلم الآلي القادرة على تعلم السمات المرئية، متجاوزةً بذلك هندسة السمات المحدودة المستخدمة سابقًا. تستخدم أحدث الطرق الشبكات الالتفافية لاستخراج السمات المرئية من خلال عدة نوافذ متداخلة في صورة سطر نصي، والتي تستخدمها شبكة عصبية متكررة لإنتاج احتمالات الأحرف. [ 4 ]

التقدير عبر الإنترنت

تتضمن تقنية التعرف على الكتابة اليدوية عبر الإنترنت التحويل التلقائي للنص أثناء كتابته على جهاز رقمي خاص أو جهاز مساعد رقمي شخصي ، حيث يستشعر مستشعر حركة رأس القلم وحركة القلم لأعلى ولأسفل. يُعرف هذا النوع من البيانات بالحبر الرقمي، ويمكن اعتباره تمثيلاً رقمياً للكتابة اليدوية. تُحوّل الإشارة المُستلمة إلى رموز أحرف قابلة للاستخدام في تطبيقات الحاسوب ومعالجة النصوص.

تتضمن عناصر واجهة التعرف على الكتابة اليدوية عبر الإنترنت عادةً ما يلي:

  • قلم أو قلم لمس للكتابة به
  • سطح حساس للمس، يمكن دمجه مع شاشة العرض أو وضعه بجوارها.
  • تطبيق برمجي يفسر حركات القلم على سطح الكتابة، ويترجم الضربات الناتجة إلى نص رقمي.

يمكن تقسيم عملية التعرف على الكتابة اليدوية عبر الإنترنت إلى بضع خطوات عامة:

  • المعالجة المسبقة،
  • استخلاص الميزات و
  • تصنيف

تهدف المعالجة المسبقة إلى استبعاد المعلومات غير ذات الصلة في بيانات الإدخال، والتي قد تؤثر سلبًا على عملية التعرف. [ 5 ] ويتعلق هذا بالسرعة والدقة. تتضمن المعالجة المسبقة عادةً التحويل إلى ثنائي، والتطبيع، وأخذ العينات، والتنعيم، وإزالة التشويش. [ 6 ] الخطوة الثانية هي استخلاص الميزات. من حقل المتجهات ثنائي الأبعاد أو متعدد الأبعاد الناتج عن خوارزميات المعالجة المسبقة، تُستخلص بيانات متعددة الأبعاد. تهدف هذه الخطوة إلى إبراز المعلومات المهمة لنموذج التعرف. قد تتضمن هذه البيانات معلومات مثل ضغط القلم، والسرعة، أو تغيرات اتجاه الكتابة. الخطوة الأخيرة هي التصنيف. في هذه الخطوة، تُستخدم نماذج مختلفة لربط الميزات المستخلصة بفئات مختلفة، وبالتالي تحديد الأحرف أو الكلمات التي تمثلها هذه الميزات.

الأجهزة

ظهرت منتجات تجارية تستخدم تقنية التعرف على الكتابة اليدوية كبديل لإدخال البيانات عبر لوحة المفاتيح في أوائل ثمانينيات القرن العشرين. ومن الأمثلة على ذلك أجهزة طرفية للكتابة اليدوية مثل Pencept Penpad [ 7 ] وجهاز نقاط البيع Inforite [ 8 ] . ومع ظهور سوق استهلاكية واسعة لأجهزة الكمبيوتر الشخصية، طُرحت العديد من المنتجات التجارية لاستبدال لوحة المفاتيح والفأرة في الكمبيوتر الشخصي بنظام تأشير/كتابة يدوية واحد، مثل منتجات Pencept [ 9 ] و CIC [ 10 ] وغيرها. وكان أول جهاز كمبيوتر محمول لوحي متوفر تجاريًا هو Write-Top من شركة Linus Technologies، الذي طُرح في يوليو 1988. وكان نظام تشغيله مبنيًا على MS-DOS [ 11 ] [ 12 ] .

في أوائل التسعينيات، أصدرت شركات تصنيع الأجهزة، بما فيها NCR و IBM و EO، أجهزة كمبيوتر لوحية تعمل بنظام التشغيل PenPoint الذي طورته شركة GO Corp. اعتمد PenPoint على تقنية التعرف على الكتابة اليدوية والإيماءات، ووفر إمكانيات لبرامج الطرف الثالث. كان جهاز IBM اللوحي أول جهاز يحمل اسم ThinkPad ، واستخدم تقنية التعرف على الكتابة اليدوية من IBM. لاحقًا، نُقل نظام التعرف هذا إلى نظام Microsoft Windows for Pen Computing ، وإلى قلم IBM لنظام التشغيل OS/2 . لم يحقق أي من هذه الأجهزة نجاحًا تجاريًا.

أتاحت التطورات في مجال الإلكترونيات إمكانية دمج القدرة الحاسوبية اللازمة للتعرف على الكتابة اليدوية في أجهزة أصغر حجمًا من أجهزة الكمبيوتر اللوحية، ولذا يُستخدم التعرف على الكتابة اليدوية غالبًا كطريقة إدخال في أجهزة المساعد الرقمي الشخصي المحمولة. كان جهاز Apple Newton أول جهاز مساعد رقمي شخصي يوفر إمكانية الإدخال الكتابي ، مما عرّف الجمهور بميزة واجهة المستخدم المبسطة. مع ذلك، لم يحقق الجهاز نجاحًا تجاريًا بسبب عدم موثوقية البرنامج الذي كان يحاول تعلم أنماط كتابة المستخدم. وبحلول وقت إصدار نظام التشغيل Newton OS 2.0، الذي شهد تحسينًا كبيرًا في التعرف على الكتابة اليدوية، بما في ذلك ميزات فريدة لم تكن موجودة في أنظمة التعرف الحالية، مثل تصحيح الأخطاء بدون نمط، كانت الانطباعات الأولى سلبية إلى حد كبير. بعد توقف إنتاج Apple Newton ، أُدمجت هذه الميزة في نظام التشغيل Mac OS X 10.2، ولاحقًا باسم Inkwell .

أطلقت بالم لاحقًا سلسلة ناجحة من أجهزة المساعد الرقمي الشخصي (PDA) تعتمد على نظام التعرف على الكتابة اليدوية "جرافيتي" . حسّن "جرافيتي" سهولة الاستخدام من خلال تحديد مجموعة من "الخطوط الأحادية"، أو أشكال الخط الواحد، لكل حرف. قلّل هذا من احتمالية الإدخال الخاطئ، على الرغم من أن حفظ أنماط الخطوط زاد من صعوبة تعلم المستخدم. وُجد أن نظام التعرف على الكتابة اليدوية "جرافيتي" ينتهك براءة اختراع مملوكة لشركة زيروكس، فاستبدلت بالم "جرافيتي" بنسخة مرخصة من نظام التعرف على الكتابة اليدوية "CIC"، الذي، مع دعمه أيضًا لأشكال الخط الأحادي، كان أقدم من براءة اختراع زيروكس. نُقض حكم المحكمة بالانتهاك في الاستئناف، ثم نُقض مرة أخرى في استئناف لاحق. تفاوضت الأطراف المعنية لاحقًا على تسوية بشأن هذه البراءة وبراءات اختراع أخرى.

الحاسوب اللوحي هو حاسوب محمول مزود بلوحة رقمية وقلم، مما يسمح للمستخدم بكتابة النصوص بخط اليد على شاشته. يتعرف نظام التشغيل على الكتابة اليدوية ويحولها إلى نص. يتضمن نظاما التشغيل ويندوز فيستا وويندوز 7 ميزات تخصيص تتعلم أنماط كتابة المستخدم أو مفرداته في اللغات الإنجليزية واليابانية والصينية التقليدية والصينية المبسطة والكورية. تشمل هذه الميزات "معالج تخصيص" يطلب من المستخدم إدخال نماذج من خط يده ويستخدمها لإعادة تدريب النظام لتحسين دقة التعرف. يختلف هذا النظام عن نظام التعرف على الكتابة اليدوية الأقل تطورًا المستخدم في نظام التشغيل ويندوز موبايل لأجهزة المساعد الرقمي الشخصي.

على الرغم من أن تقنية التعرف على الكتابة اليدوية أصبحت وسيلة إدخال شائعة الاستخدام، إلا أنها لم تنتشر على نطاق واسع في أجهزة الكمبيوتر المكتبية أو المحمولة. ولا يزال من المقبول عمومًا أن إدخال البيانات عبر لوحة المفاتيح أسرع وأكثر موثوقية. (حتى عام ٢٠٠٦)توفر العديد من أجهزة المساعد الرقمي الشخصي إمكانية إدخال الكتابة اليدوية، بل وتقبل أحيانًا الكتابة اليدوية الطبيعية المتصلة، لكن الدقة لا تزال مشكلة، ولا يزال بعض الناس يجدون أن لوحة المفاتيح البسيطة على الشاشة أكثر كفاءة.

برمجة

كانت البرامج المبكرة قادرة على فهم الكتابة اليدوية المطبوعة حيث تكون الأحرف منفصلة؛ إلا أن الكتابة اليدوية المتصلة بأحرفها كانت تُشكّل مفارقة ساير ، وهي صعوبة تتعلق بتقسيم الأحرف. في عام ١٩٦٢، كتبت شيلا غوبرمان ، التي كانت آنذاك في موسكو، أول برنامج تطبيقي للتعرف على الأنماط. [ ١٣ ] وظهرت أمثلة تجارية من شركات مثل شركة الاتصالات الاستخباراتية وشركة آي بي إم.

في أوائل التسعينيات، ابتكرت شركتان - ParaGraph International و Lexicus - أنظمةً قادرةً على التعرف على الكتابة اليدوية المتصلة. تأسست ParaGraph في روسيا على يد عالم الحاسوب ستيبان باتشيكوف ، بينما أسس Lexicus كلٌ من رونجون ناج وكريس كورتج، وهما طالبان في جامعة ستانفورد. تم استخدام نظام ParaGraph CalliGrapher في أنظمة Apple Newton، بينما أُتيح نظام Lexicus Longhand تجاريًا لنظامي التشغيل PenPoint وWindows. استحوذت موتورولا على Lexicus عام 1993، وواصلت تطوير أنظمة التعرف على الكتابة اليدوية الصينية وأنظمة الكتابة التنبؤية لصالح موتورولا. في عام 1997، استحوذت SGI على ParaGraph، وشكّل فريق التعرف على الكتابة اليدوية التابع لها قسمًا باسم P&I، والذي استحوذت عليه لاحقًا شركة Vadem من SGI . في عام 1999، استحوذت مايكروسوفت على تقنية CalliGrapher للتعرف على الكتابة اليدوية وغيرها من تقنيات الحبر الرقمي التي طورتها P&I من شركة Vadem.  

يوفر برنامج Wolfram Mathematica (الإصدار 8.0 أو أحدث) أيضًا وظيفة التعرف على الكتابة اليدوية أو النصوص TextRecognize.

بحث

الطريقة المستخدمة لاستغلال المعلومات السياقية في أول نظام لتفسير العناوين المكتوبة بخط اليد والذي طوره سارجور سري هاري وجوناثان هول [ 14 ]

يُعدّ التعرّف على الكتابة اليدوية مجالًا بحثيًا نشطًا يضمّ نخبة من الأكاديميين. ومن أبرز المؤتمرات المتخصصة في هذا المجال: المؤتمر الدولي حول آفاق التعرّف على الكتابة اليدوية (ICFHR)، الذي يُعقد في السنوات الزوجية، والمؤتمر الدولي لتحليل المستندات والتعرّف عليها (ICDAR)، الذي يُعقد في السنوات الفردية. ويحظى كلا المؤتمرين بدعم من معهد مهندسي الكهرباء والإلكترونيات (IEEE) والجمعية الدولية للتعرف على الأنماط ( IAPR ) . وفي عام 2021، ستنشر دار نشر سبرينغر وقائع مؤتمر ICDAR ضمن سلسلة محاضرات علوم الحاسوب ( LNCS ).

تشمل مجالات البحث النشطة ما يلي:

النتائج منذ عام 2009

منذ عام 2009، فازت الشبكات العصبية المتكررة والشبكات العصبية التغذية الأمامية العميقة، التي طُوّرت في مجموعة أبحاث يورغن شميدهوبر في مختبر الذكاء الاصطناعي السويسري IDSIA، بالعديد من مسابقات الكتابة اليدوية الدولية. [ 15 ] وعلى وجه الخصوص، فازت شبكة الذاكرة طويلة المدى (LSTM) ثنائية الاتجاه ومتعددة الأبعاد [ 16 ] [ 17 ] ، التي طورها أليكس غريفز وآخرون، بثلاث مسابقات في التعرف على الكتابة اليدوية المتصلة في المؤتمر الدولي لتحليل المستندات والتعرف عليها (ICDAR) لعام 2009، دون أي معرفة مسبقة باللغات الثلاث المختلفة (الفرنسية والعربية والفارسية ). كما فازت أساليب التعلم العميق الحديثة القائمة على وحدة معالجة الرسومات ( GPU ) للشبكات التغذية الأمامية، التي طورها دان سيريسان وزملاؤه في IDSIA ، بمسابقة التعرف على الكتابة اليدوية الصينية غير المتصلة بالإنترنت في مؤتمر ICDAR لعام 2011. كما كانت شبكاتهم العصبية أول أنظمة التعرف على الأنماط الاصطناعية التي حققت أداءً تنافسيًا مع البشر [ 18 ] في مشكلة الأرقام المكتوبة بخط اليد الشهيرة MNIST [ 19 ] ليان ليكان وزملائه في جامعة نيويورك .

فاز بنجامين غراهام من جامعة وارويك بمسابقة التعرف على الكتابة اليدوية الصينية عام 2013، بنسبة خطأ بلغت 2.61% فقط، وذلك باستخدام نهج الشبكات العصبية الالتفافية الذي تطور (بحلول عام 2017) إلى "شبكات عصبية التفافية متفرقة". [ 20 ] [ 21 ]

انظر أيضاً

القوائم

مراجع

  1. ^ فورستنر، وولفجانج (1999). Mustererkennung 1999  : 21. DAGM-Symposium Bonn, 15.-17. سبتمبر 1999 . يواكيم م. بوهمان، أنيت فابر، بيتكو فابر. برلين، هايدلبرغ: سبرينغر برلين هايدلبرغ. رقم ISBN 978-3-642-60243-6. OCLC 913706869 . 
  2. ^ شينك ، يواكيم (2010). الاتصال بآلة الإنسان : grundlagen von sprach- und bildbasierten benutzerschnittstellen . غيرهارد ريجول. هايدلبرغ: سبرينغر. رقم ISBN  978-3-642-05457-0. OCLC 609418875 . 
  3. ↑ جافا OCR، 5 يونيو 2010. تم الاطلاع عليه في 5 يونيو 2010
  4. ↑ بويغسيرفر، جوان. "هل الطبقات المتكررة متعددة الأبعاد ضرورية حقًا للتعرف على النصوص المكتوبة بخط اليد؟". المؤتمر الدولي الرابع عشر لتحليل المستندات والتعرف عليها (ICDAR)، 2017. المجلد 1. معهد مهندسي الكهرباء والإلكترونيات، 2017.
  5. ↑ هوانغ، ب.؛ تشانغ، ي. وكيتشادي، م.؛ تقنيات المعالجة المسبقة للتعرف على الكتابة اليدوية عبر الإنترنت. تصنيف النصوص الذكية وتجميعها ، سبرينغر برلين هايدلبرغ، 2009، المجلد 164، "دراسات في الذكاء الحسابي" ص 25-45.
  6. ↑ Holzinger, A.; Stocker, C.; Peischl, B. and Simonic, K.-M.; On Using Entropy for Enhancing Handwriting Preprocessing , Entropy 2012, 14, pp. 2324–2350.
  7. ↑ كتيب منتج Pencept Penpad (TM) 200 ، شركة Pencept، 15 أغسطس 1982
  8. ↑ محطة التعرف على الأحرف اليدوية من إنفورايت ، شركة كادر سيستمز المحدودة، إنجلترا، 15 أغسطس 1982
  9. ↑ دليل المستخدم لجهاز Penpad 320 ، شركة Pencept، 15 يونيو 1984
  10. ↑ نظام الكتابة اليدوية (R) GrafText (TM) طراز GT-5000 ، شركة الاتصالات الذكية، 15 يناير 1985
  11. ^ أتكينسون، بول (2010). حاسوب . كتب رد الفعل. ص 115 – 116. ISBN  9781861897374– عبر كتب جوجل.
  12. ↑ ديلبورغ-ديلفيس، ماريلين (2024). ما وراء يوريكا!: الطرق الوعرة نحو الابتكار . مطبعة جامعة جورج تاون. ص 168. ISBN  9781647124229– عبر كتب جوجل.
  13. ↑ غوبرمان هو مخترع تقنية التعرف على الكتابة اليدوية التي تستخدمها مايكروسوفت اليوم في نظام التشغيل ويندوز سي إي. المصدر: شركة إن-كيو-تيل للاتصالات، 3 يونيو 2003
  14. ↑ إس إن سري هاري وإي جيه كيوبيرت، "دمج تقنية تفسير العناوين المكتوبة بخط اليد في نظام قارئ الكمبيوتر عن بعد التابع لخدمة البريد الأمريكية" وقائع المؤتمر الدولي لتحليل المستندات والتعرف عليها (ICDAR) 1997، مطبعة IEEE-CS، الصفحات 892-896
  15. ↑ مقابلة كورزويل للذكاء الاصطناعي لعام 2012، مؤرشفة في 31 أغسطس 2018 على موقع Wayback Machine، مع يورغن شميدهوبر حول المسابقات الثماني التي فاز بها فريقه في مجال التعلم العميق خلال الفترة 2009-2012
  16. ↑ غريفز، أليكس؛ وشميدهوبر، يورغن؛ التعرف على الكتابة اليدوية دون اتصال بالإنترنت باستخدام الشبكات العصبية المتكررة متعددة الأبعاد ، في بينجيو، يوشوا؛ وشورمانز، ديل؛ ولافيرتي، جون؛ وويليامز، كريس كي آي؛ وكولوتّا، آرون (محررون)، التطورات في أنظمة معالجة المعلومات العصبية 22 (NIPS'22)، 7-10 ديسمبر 2009، فانكوفر، كولومبيا البريطانية ، مؤسسة أنظمة معالجة المعلومات العصبية (NIPS)، 2009، الصفحات 545-552
  17. ↑ أ. غريفز، م. ليويكي، س. فرنانديز، ر. بيرتولامي، هـ. بونكه، ج. شميدهوبر . نظام اتصالي جديد لتحسين التعرف على الكتابة اليدوية غير المقيدة. معاملات IEEE في تحليل الأنماط والذكاء الآلي، المجلد 31، العدد 5، 2009.
  18. ↑ دي سي سيريسان، يو. ماير، جيه. شميدهوبر . شبكات عصبية عميقة متعددة الأعمدة لتصنيف الصور. مؤتمر IEEE حول رؤية الحاسوب والتعرف على الأنماط CVPR 2012.
  19. ↑ لوكون، واي. ، بوتو، إل.، بينجيو، واي.، وهافنر، بي. (1998). التعلم القائم على التدرج المطبق على التعرف على المستندات. وقائع معهد مهندسي الكهرباء والإلكترونيات، 86، ص 2278-2324.
  20. ↑ "الشبكات المتفرقة تُسهم في حلّ مسائل الفيزياء الكبرى" . مجلة كوانتا . يونيو 2023. تاريخ الاطلاع: 17 يونيو 2023 .
  21. ↑ غراهام، بنجامين. "الشبكات العصبية الالتفافية المتباعدة مكانيًا." arXiv preprint arXiv:1409.6070 (2014).