التعرف على الكلام

📅 آخر تحديث: ٥ أغسطس ٢٠٢٦
✍️ نُشر في: ٥ أغسطس ٢٠٢٦
📷 يحتوي على 7 صور
الموسوعة الحرة

التعرف على الكلام هو مجال فرعي متعدد التخصصات من علوم الكمبيوتر واللغويات الحاسوبية والذي يطور منهجيات وتقنيات تمكن من التعرف على اللغة المنطوقة وترجمتها إلى نص بواسطة أجهزة الكمبيوتر. يُعرف أيضًا باسم التعرف التلقائي على الكلام ( ASR ) أو التعرف على الكلام بواسطة الكمبيوتر أو تحويل الكلام إلى نص ( STT ). وهو يدمج المعرفة والبحث في مجالات علوم الكمبيوتر واللغويات وهندسة الكمبيوتر . العملية العكسية هي تركيب الكلام .

تتطلب بعض أنظمة التعرف على الكلام "التدريب" (يُطلق عليه أيضًا "التسجيل") حيث يقرأ متحدث فردي نصًا أو مفردات معزولة في النظام. يحلل النظام صوت الشخص المحدد ويستخدمه لضبط التعرف على كلام ذلك الشخص، مما يؤدي إلى زيادة الدقة. تسمى الأنظمة التي لا تستخدم التدريب "أنظمة مستقلة عن المتحدث" [1] . تسمى الأنظمة التي تستخدم التدريب "الأنظمة المعتمدة على المتحدث".

تتضمن تطبيقات التعرف على الكلام واجهات مستخدم صوتية مثل الاتصال الصوتي (على سبيل المثال "الاتصال بالمنزل")، وتوجيه المكالمات (على سبيل المثال "أود إجراء مكالمة جماعية")، والتحكم في الأجهزة المنزلية ، وكلمات البحث الرئيسية (على سبيل المثال، العثور على بودكاست حيث تم نطق كلمات معينة)، وإدخال البيانات البسيطة (على سبيل المثال، إدخال رقم بطاقة الائتمان)، وإعداد المستندات المنظمة (على سبيل المثال، تقرير الأشعة)، وتحديد خصائص المتحدث، [2] ومعالجة الكلام إلى نص (على سبيل المثال، معالجات الكلمات أو رسائل البريد الإلكتروني )، والطائرات (عادةً ما يطلق عليها إدخال الصوت المباشر ). يتم استخدام تقييم النطق التلقائي في التعليم مثل تعلم اللغة المنطوقة.

يشير مصطلح التعرف على الصوت [3] [4] [5] أو تحديد هوية المتحدث [6] [7] [8] إلى تحديد هوية المتحدث، وليس ما يقوله. يمكن أن يؤدي التعرف على المتحدث إلى تبسيط مهمة ترجمة الكلام في الأنظمة التي تم تدريبها على صوت شخص معين أو يمكن استخدامه للتحقق من هوية المتحدث كجزء من عملية الأمان.

من منظور التكنولوجيا، يتمتع التعرف على الكلام بتاريخ طويل مع عدة موجات من الابتكارات الكبرى. وفي الآونة الأخيرة، استفاد المجال من التقدم في التعلم العميق والبيانات الضخمة . ولا يتضح التقدم فقط من خلال زيادة عدد الأوراق الأكاديمية المنشورة في هذا المجال، ولكن الأهم من ذلك هو اعتماد الصناعة العالمية لمجموعة متنوعة من أساليب التعلم العميق في تصميم ونشر أنظمة التعرف على الكلام.

تاريخ

وكانت مجالات النمو الرئيسية هي: حجم المفردات، واستقلال المتحدث، وسرعة المعالجة.

قبل عام 1970

كان راج ريدي أول شخص يتولى التعرف المستمر على الكلام كطالب دراسات عليا في جامعة ستانفورد في أواخر الستينيات. كانت الأنظمة السابقة تتطلب من المستخدمين التوقف مؤقتًا بعد كل كلمة. أصدر نظام ريدي أوامر منطوقة للعب الشطرنج .

في ذلك الوقت تقريبًا، اخترع الباحثون السوفييت خوارزمية تشويه الوقت الديناميكي (DTW) واستخدموها لإنشاء أداة تعرف قادرة على العمل على مفردات مكونة من 200 كلمة. [15] عالجت DTW الكلام عن طريق تقسيمه إلى إطارات قصيرة، مثل مقاطع مدتها 10 مللي ثانية، ومعالجة كل إطار كوحدة واحدة. وعلى الرغم من أن DTW ستحل محلها خوارزميات لاحقة، إلا أن التقنية استمرت. وظل تحقيق استقلال المتحدث دون حل في هذه الفترة الزمنية.

1970–1990

  • 1971 – مولت وكالة مشاريع الأبحاث الدفاعية المتقدمة خمس سنوات لأبحاث فهم الكلام ، وهي أبحاث التعرف على الكلام التي تسعى إلى الحد الأدنى لحجم المفردات وهو 1000 كلمة. لقد اعتقدوا أن فهم الكلام سيكون مفتاحًا لإحراز تقدم في التعرف على الكلام ، لكن ثبت لاحقًا أن هذا غير صحيح. [16] شاركت كل من BBN و IBM و Carnegie Mellon ومعهد ستانفورد للأبحاث في البرنامج. [17] [18] أعاد هذا إحياء أبحاث التعرف على الكلام بعد رسالة جون بيرس.
  • 1972 - عقدت مجموعة IEEE المتخصصة في الصوتيات والكلام ومعالجة الإشارات مؤتمرا في نيوتن، ماساتشوستس.
  • 1976 – أقيم المؤتمر الدولي الأول لعلوم التعرف على الكلام في فيلادلفيا ، والذي أصبح منذ ذلك الحين مكانًا رئيسيًا لنشر الأبحاث حول التعرف على الكلام. [19]

خلال أواخر الستينيات، طور ليونارد باوم رياضيات سلاسل ماركوف في معهد تحليل الدفاع . وبعد عقد من الزمان، في جامعة كارنيجي ميلون، بدأ طلاب راج ريدي جيمس بيكر وجانيت إم بيكر في استخدام نموذج ماركوف المخفي (HMM) للتعرف على الكلام. [20] كان جيمس بيكر قد تعلم عن نماذج ماركوف المخفي من وظيفة صيفية في معهد تحليل الدفاع أثناء دراسته الجامعية. [21] سمح استخدام نماذج ماركوف المخفي للباحثين بدمج مصادر مختلفة للمعرفة، مثل الصوتيات واللغة والنحو، في نموذج احتمالي موحد.

  • بحلول منتصف الثمانينيات، ابتكر فريق فريد جيلينك من شركة آي بي إم آلة كاتبة يتم تنشيطها صوتيًا تسمى تانجورا، والتي يمكنها التعامل مع مفردات مكونة من 20000 كلمة [22]. وضع نهج جيلينك الإحصائي تركيزًا أقل على محاكاة الطريقة التي يعالج بها الدماغ البشري الكلام ويفهمه لصالح استخدام تقنيات النمذجة الإحصائية مثل HMMs. (اكتشفت مجموعة جيلينك بشكل مستقل تطبيق HMMs على الكلام. [21] ) كان هذا مثيرًا للجدل مع اللغويين لأن HMMs مبسطة للغاية بحيث لا يمكن اعتبارها العديد من السمات المشتركة للغات البشرية. [23] ومع ذلك، أثبتت HMM أنها طريقة مفيدة للغاية لنمذجة الكلام واستبدلت تشويه الوقت الديناميكي لتصبح خوارزمية التعرف على الكلام السائدة في الثمانينيات. [24] [25]
  • 1982 – شركة Dragon Systems، التي أسسها جيمس وجانيت م. بيكر ، [26] كانت واحدة من المنافسين القلائل لشركة IBM.

التعرف العملي على الكلام

وشهدت الثمانينيات أيضًا تقديم نموذج اللغة n-gram .

  • 1987 - سمح نموذج التراجع لنماذج اللغة باستخدام n-grams متعددة الأطوال، واستخدمت CSELT [27] نموذج HMM للتعرف على اللغات (سواء في البرامج أو في المعالجات المتخصصة للأجهزة، على سبيل المثال RIPAC ).

يرجع الفضل في الكثير من التقدم في هذا المجال إلى القدرات المتزايدة بسرعة لأجهزة الكمبيوتر. في نهاية برنامج وكالة مشاريع الأبحاث الدفاعية المتقدمة في عام 1976، كان أفضل جهاز كمبيوتر متاح للباحثين هو PDP-10 بسعة 4 ميجا بايت من ذاكرة الوصول العشوائي. [28] قد يستغرق فك شفرة 30 ثانية فقط من الكلام ما يصل إلى 100 دقيقة. [29]

وكان من بين المنتجات العملية:

  • 1984 – تم إصدار Apricot Portable مع دعم يصل إلى 4096 كلمة، منها 64 كلمة فقط يمكن تخزينها في ذاكرة الوصول العشوائي في المرة الواحدة. [30]
  • 1987 – متعرف من شركة Kurzweil Applied Intelligence
  • 1990 – تم إطلاق منتج Dragon Dictate، وهو منتج استهلاكي في عام 1990 [31] [32] ونشرت شركة AT&T خدمة معالجة المكالمات بالتعرف على الصوت في عام 1992 لتوجيه المكالمات الهاتفية دون استخدام عامل بشري. [33] تم تطوير هذه التكنولوجيا بواسطة لورانس رابينر وآخرين في مختبرات بيل.

بحلول هذه المرحلة، كانت مفردات نظام التعرف على الكلام التجاري النموذجي أكبر من متوسط ​​المفردات البشرية. [28] طور تلميذ راج ريدي السابق، شيودونج هوانج ، نظام Sphinx-II في جامعة كارنيجي ميلون. كان نظام Sphinx-II أول نظام يقوم بالتعرف المستمر على الكلام المستقل عن المتحدث، والمفردات الكبيرة، وكان له أفضل أداء في تقييم وكالة مشاريع الأبحاث الدفاعية المتقدمة عام 1992. كان التعامل مع الكلام المستمر بمفردات كبيرة علامة فارقة في تاريخ التعرف على الكلام. واصل هوانج تأسيس مجموعة التعرف على الكلام في مايكروسوفت عام 1993. انضم تلميذ راج ريدي، كاي فو لي، إلى شركة آبل حيث ساعد في عام 1992 في تطوير نموذج أولي لواجهة الكلام لجهاز كمبيوتر آبل المعروف باسم كاسبر.

استحوذت شركة Lernout & Hauspie ، وهي شركة بلجيكية متخصصة في التعرف على الكلام، على العديد من الشركات الأخرى، بما في ذلك شركة Kurzweil Applied Intelligence في عام 1997 وشركة Dragon Systems في عام 2000. تم استخدام تقنية الكلام من شركة Lernout & Hauspie في نظام التشغيل Windows XP . كانت شركة Lernout & Hauspie رائدة في الصناعة حتى أدت فضيحة محاسبية إلى إنهاء الشركة في عام 2001. تم شراء تقنية الكلام من شركة Lernout & Hauspie بواسطة شركة ScanSoft والتي أصبحت Nuance في عام 2005. قامت شركة Apple في الأصل بترخيص برنامج من شركة Nuance لتوفير إمكانية التعرف على الكلام لمساعدها الرقمي Siri . [34]

العقد الأول من القرن الحادي والعشرين

في العقد الأول من القرن الحادي والعشرين، رعت وكالة مشاريع الأبحاث الدفاعية المتقدمة برنامجين للتعرف على الكلام: تحويل الكلام إلى نص فعال وبأسعار معقولة وقابل لإعادة الاستخدام (EARS) في عام 2002 واستغلال اللغة المستقلة العالمية (GALE). شاركت أربع فرق في برنامج EARS: IBM ، وفريق بقيادة BBN مع LIMSI وجامعة بيتسبرغ ، وجامعة كامبريدج ، وفريق مكون من ICSI و SRI وجامعة واشنطن . مول EARS مجموعة من سجلات الكلام الهاتفية Switchboard التي تحتوي على 260 ساعة من المحادثات المسجلة لأكثر من 500 متحدث. [ 35] ركز برنامج GALE على خطاب الأخبار الإذاعية العربية والمندرينية . جاءت أول محاولة لشركة Google للتعرف على الكلام في عام 2007 بعد توظيف بعض الباحثين من Nuance. [36] كان المنتج الأول هو GOOG-411 ، وهي خدمة دليل تعتمد على الهاتف. أنتجت التسجيلات من GOOG-411 بيانات قيمة ساعدت Google في تحسين أنظمة التعرف الخاصة بها. أصبح الآن البحث الصوتي من Google مدعومًا بأكثر من 30 لغة.

في الولايات المتحدة، استخدمت وكالة الأمن القومي نوعًا من التعرف على الكلام لتحديد الكلمات الرئيسية منذ عام 2006 على الأقل. [37] تتيح هذه التقنية للمحللين البحث عبر كميات كبيرة من المحادثات المسجلة وعزل الإشارات إلى الكلمات الرئيسية. يمكن فهرسة التسجيلات ويمكن للمحللين تشغيل الاستعلامات على قاعدة البيانات للعثور على المحادثات ذات الاهتمام. ركزت بعض برامج الأبحاث الحكومية على تطبيقات الاستخبارات للتعرف على الكلام، مثل برنامج EARS التابع لوكالة مشاريع البحوث الدفاعية المتقدمة (DARPA) وبرنامج Babel التابع لوكالة مشاريع البحوث الدفاعية المتقدمة (IARPA) .

في أوائل العقد الأول من القرن الحادي والعشرين، كان التعرف على الكلام لا يزال يهيمن عليه الأساليب التقليدية مثل نماذج ماركوف المخفية جنبًا إلى جنب مع الشبكات العصبية الاصطناعية ذات التغذية الأمامية . [38] ومع ذلك، فقد تم اليوم الاستيلاء على العديد من جوانب التعرف على الكلام من خلال طريقة التعلم العميق تسمى الذاكرة طويلة المدى القصيرة (LSTM)، وهي شبكة عصبية متكررة نشرها Sepp Hochreiter & Jürgen Schmidhuber في عام 1997. [39] تتجنب شبكات LSTM العصبية المتكررة مشكلة التدرج المتلاشي ويمكنها تعلم مهام "التعلم العميق للغاية" [40] التي تتطلب ذكريات الأحداث التي حدثت منذ آلاف الخطوات الزمنية المنفصلة، ​​وهو أمر مهم للكلام. حوالي عام 2007، بدأت LSTM المدربة بواسطة التصنيف الزمني الوصلي (CTC) [41] في التفوق على التعرف التقليدي على الكلام في تطبيقات معينة. [42] في عام 2015، ورد أن التعرف على الكلام من Google شهد قفزة كبيرة في الأداء بنسبة 49٪ من خلال LSTM المدربة على CTC، والتي أصبحت متاحة الآن من خلال Google Voice لجميع مستخدمي الهواتف الذكية. [43] تم اعتماد المحولات ، وهو نوع من الشبكات العصبية يعتمد فقط على "الانتباه"، على نطاق واسع في رؤية الكمبيوتر [44] [45] ونمذجة اللغة، [46] [47] مما أثار الاهتمام بتكييف مثل هذه النماذج مع مجالات جديدة، بما في ذلك التعرف على الكلام. [48] [49] [50] أفادت بعض الأوراق الحديثة بمستويات أداء متفوقة باستخدام نماذج المحولات للتعرف على الكلام، ولكن هذه النماذج تتطلب عادةً مجموعات بيانات تدريب واسعة النطاق للوصول إلى مستويات أداء عالية.

تم تقديم استخدام شبكات التغذية الأمامية العميقة (غير المتكررة) للنمذجة الصوتية خلال الجزء الأخير من عام 2009 بواسطة جيفري هينتون وطلابه في جامعة تورنتو ولي دينج [51] وزملائه في Microsoft Research، في البداية في العمل التعاوني بين Microsoft وجامعة تورنتو والذي تم توسيعه لاحقًا ليشمل IBM وGoogle (ومن هنا جاء العنوان الفرعي "وجهات النظر المشتركة لأربع مجموعات بحثية" في ورقة المراجعة لعام 2012). [52] [53] [54] أطلق أحد المسؤولين التنفيذيين في مجال الأبحاث في Microsoft على هذا الابتكار "التغيير الأكثر دراماتيكية في الدقة منذ عام 1979". [55] وعلى النقيض من التحسينات التدريجية الثابتة في العقود القليلة الماضية، أدى تطبيق التعلم العميق إلى تقليل معدل خطأ الكلمات بنسبة 30٪. [55] تم تبني هذا الابتكار بسرعة في جميع أنحاء المجال. بدأ الباحثون في استخدام تقنيات التعلم العميق لنمذجة اللغة أيضًا.

في التاريخ الطويل للتعرف على الكلام، تم استكشاف كل من الشكل الضحل والشكل العميق (مثل الشبكات المتكررة) للشبكات العصبية الاصطناعية لسنوات عديدة خلال الثمانينيات والتسعينيات وبضع سنوات حتى العقد الأول من القرن الحادي والعشرين. [56] [57] [58] لكن هذه الأساليب لم تتغلب أبدًا على نموذج الخليط الغاوسي غير الموحد للصناعة اليدوية الداخلية / نموذج ماركوف المخفي (GMM-HMM) القائم على نماذج توليدية للكلام المدرب تمييزيًا. [59] تم تحليل عدد من الصعوبات الرئيسية منهجيًا في التسعينيات، بما في ذلك تناقص التدرج [60] وضعف بنية الارتباط الزمني في النماذج التنبؤية العصبية. [61] [62] كانت كل هذه الصعوبات بالإضافة إلى الافتقار إلى بيانات التدريب الكبيرة وقوة الحوسبة الكبيرة في هذه الأيام الأولى. وبالتالي، ابتعد معظم الباحثين في مجال التعرف على الكلام الذين أدركوا مثل هذه الحواجز عن الشبكات العصبية لمتابعة أساليب النمذجة التوليدية حتى ظهور التعلم العميق مؤخرًا بدءًا من عامي 2009 و2010 والذي تغلب على كل هذه الصعوبات. استعرض هينتون وآخرون ودينج وآخرون جزءًا من هذا التاريخ الحديث حول كيف أشعل تعاونهم مع بعضهم البعض ثم مع زملائهم عبر أربع مجموعات (جامعة تورنتو ومايكروسوفت وجوجل وآي بي إم) نهضة تطبيقات الشبكات العصبية العميقة للتغذية الأمامية للتعرف على الكلام. [53] [54] [63] [64]

العقد الأول من القرن الحادي والعشرين

بحلول أوائل العقد الأول من القرن الحادي والعشرين ، كان التعرف على الكلام ، والذي يُسمى أيضًا التعرف على الصوت [65] [66] [67]، مختلفًا بوضوح عن التعرف على المتحدث ، وكان يُنظر إلى استقلال المتحدث على أنه تقدم كبير. حتى ذلك الحين، كانت الأنظمة تتطلب فترة "تدريب". كان إعلان عام 1987 عن دمية يحمل شعار "أخيرًا، الدمية التي تفهمك". - على الرغم من حقيقة أنها وُصفت بأنها "أي الأطفال يمكن تدريبهم على الاستجابة لصوتهم". [12]

في عام 2017، وصل باحثو مايكروسوفت إلى إنجاز تاريخي في مجال التكافؤ البشري من خلال نسخ الكلام الهاتفي في مهمة Switchboard التي تم اختبارها على نطاق واسع. تم استخدام نماذج متعددة للتعلم العميق لتحسين دقة التعرف على الكلام. تم الإبلاغ عن أن معدل خطأ التعرف على الكلام كان منخفضًا مثل 4 ناسخين بشريين محترفين يعملون معًا على نفس المعيار، والذي تم تمويله من قبل فريق الكلام IBM Watson في نفس المهمة. [68]

النماذج والطرق والخوارزميات

يعد كل من النمذجة الصوتية ونمذجة اللغة أجزاء مهمة من خوارزميات التعرف على الكلام الحديثة القائمة على الإحصائيات. تُستخدم نماذج ماركوف المخفية (HMMs) على نطاق واسع في العديد من الأنظمة. تُستخدم نمذجة اللغة أيضًا في العديد من تطبيقات معالجة اللغة الطبيعية الأخرى مثل تصنيف المستندات أو الترجمة الآلية الإحصائية .

نماذج ماركوف المخفية

تعتمد أنظمة التعرف على الكلام الحديثة للأغراض العامة على نماذج ماركوف المخفية. وهي نماذج إحصائية تنتج سلسلة من الرموز أو الكميات. تُستخدم نماذج ماركوف المخفية في التعرف على الكلام لأن إشارة الكلام يمكن اعتبارها إشارة ثابتة متقطعة أو إشارة ثابتة قصيرة المدى. في مقياس زمني قصير (على سبيل المثال، 10 مللي ثانية)، يمكن تقريب الكلام كعملية ثابتة . يمكن اعتبار الكلام نموذج ماركوف لأغراض عشوائية عديدة.

سبب آخر لشعبية نماذج HMM هو أنه يمكن تدريبها تلقائيًا وهي بسيطة وممكنة حسابيًا للاستخدام. في التعرف على الكلام، سيخرج نموذج ماركوف المخفي سلسلة من المتجهات ذات القيمة الحقيقية ذات الأبعاد n (حيث يكون n عددًا صحيحًا صغيرًا، مثل 10)، ويخرج أحدها كل 10 مللي ثانية. تتكون المتجهات من معاملات cepstral ، والتي يتم الحصول عليها عن طريق أخذ تحويل فورييه لنافذة زمنية قصيرة للكلام وإلغاء ارتباط الطيف باستخدام تحويل جيب التمام ، ثم أخذ المعاملات الأولى (الأكثر أهمية). يميل نموذج ماركوف المخفي إلى أن يكون في كل حالة توزيعًا إحصائيًا عبارة عن مزيج من غاوسيات التباين القطري، مما سيعطي احتمالية لكل متجه مرصود. سيكون لكل كلمة، أو (لأنظمة التعرف على الكلام الأكثر عمومية)، كل فونيم ، توزيع إخراج مختلف؛ يتم إنشاء نموذج ماركوف المخفي لسلسلة من الكلمات أو الفونيمات عن طريق ربط نماذج ماركوف المخفية المدربة الفردية للكلمات والفونيمات المنفصلة.

تم وصف العناصر الأساسية للنهج الأكثر شيوعًا القائم على HMM للتعرف على الكلام أعلاه. تستخدم أنظمة التعرف على الكلام الحديثة مجموعات مختلفة من عدد من التقنيات القياسية من أجل تحسين النتائج على النهج الأساسي الموصوف أعلاه. سيحتاج نظام المفردات الكبيرة النموذجي إلى الاعتماد على السياق للفونيمات ( بحيث يكون للفونيمات ذات السياق الأيسر والأيمن المختلفين تحقيقات مختلفة كما تنص HMM)؛ سيستخدم التطبيع السيبستري للتطبيع لمتحدث مختلف وظروف تسجيل؛ لمزيد من التطبيع للمتحدث، قد يستخدم تطبيع طول المسار الصوتي (VTLN) للتطبيع بين الذكور والإناث والانحدار الخطي لأقصى احتمال (MLLR) للتكيف العام للمتحدث. سيكون للميزات ما يسمى بمعاملات دلتا ودلتا دلتا لالتقاط ديناميكيات الكلام وبالإضافة إلى ذلك، قد يستخدم تحليل التمييز الخطي غير المتجانس (HLDA)؛ أو قد يتخطى معاملات دلتا ودلتا دلتا ويستخدم الوصل والإسقاط القائم على تحليل خطي متغير التباين متبوعًا ربما بتحليل تمييزي خطي غير متجانس أو تحويل تباين شبه مرتبط عالميًا (يُعرف أيضًا باسم التحويل الخطي لأقصى احتمالية، أو MLLT). تستخدم العديد من الأنظمة ما يسمى بتقنيات التدريب التمييزية التي تستغني عن النهج الإحصائي البحت لتقدير معلمات HMM وتعمل بدلاً من ذلك على تحسين بعض المقاييس المرتبطة بالتصنيف لبيانات التدريب. ومن الأمثلة على ذلك الحد الأقصى للمعلومات المتبادلة (MMI) والحد الأدنى لخطأ التصنيف (MCE) والحد الأدنى لخطأ الهاتف (MPE).

من المحتمل أن يستخدم فك تشفير الكلام (المصطلح لما يحدث عندما يتم تقديم نطق جديد للنظام ويجب عليه حساب الجملة المصدرية الأكثر احتمالية) خوارزمية فيتربي للعثور على أفضل مسار، وهنا يوجد خيار بين إنشاء نموذج ماركوف مخفي ديناميكيًا، والذي يتضمن كل من معلومات النموذج الصوتي واللغوي، ودمجها بشكل ثابت مسبقًا ( نهج محول الحالة المحدودة ، أو FST).

من الممكن تحسين عملية فك التشفير من خلال الاحتفاظ بمجموعة من المرشحين الجيدين بدلاً من مجرد الاحتفاظ بأفضل مرشح، واستخدام دالة تسجيل أفضل (إعادة التسجيل) لتقييم هؤلاء المرشحين الجيدين حتى نتمكن من اختيار الأفضل وفقًا لهذه النتيجة المنقحة. يمكن الاحتفاظ بمجموعة المرشحين إما كقائمة (نهج القائمة الأفضل N) أو كمجموعة فرعية من النماذج (شبكة ) . تتم إعادة التسجيل عادةً من خلال محاولة تقليل مخاطر بايز [69] (أو تقريب لها) بدلاً من أخذ الجملة المصدر بأقصى احتمال، نحاول أخذ الجملة التي تقلل من توقع دالة خسارة معينة فيما يتعلق بجميع النسخ الممكنة (أي أننا نأخذ الجملة التي تقلل من المسافة المتوسطة إلى الجمل المحتملة الأخرى المرجحة باحتمالها المقدر). تكون دالة الخسارة عادةً هي مسافة ليفينشتاين ، على الرغم من أنها يمكن أن تكون مسافات مختلفة لمهام محددة؛ يتم بالطبع تقليم مجموعة النسخ الممكنة للحفاظ على قابلية المعالجة. تم ابتكار خوارزميات فعالة لإعادة تسجيل الشبكات الممثلة كمحولات حالة محدودة مرجحة مع مسافات تحرير تمثل نفسها كمحول حالة محدودة للتحقق من افتراضات معينة. [70]

التعرف على الكلام استنادًا إلى التشويه الديناميكي للوقت (DTW)

التشويه الديناميكي للوقت هو نهج تم استخدامه تاريخيًا للتعرف على الكلام ولكن تم استبداله الآن إلى حد كبير بالنهج الأكثر نجاحًا القائم على HMM.

إن التشويه الزمني الديناميكي عبارة عن خوارزمية لقياس التشابه بين تسلسلين قد يختلفان في الوقت أو السرعة. على سبيل المثال، يمكن اكتشاف أوجه التشابه في أنماط المشي، حتى لو كان الشخص في مقطع فيديو يمشي ببطء وإذا كان في مقطع فيديو آخر يمشي بسرعة أكبر، أو حتى إذا كانت هناك تسارعات وتباطؤ أثناء مسار ملاحظة واحدة. تم تطبيق DTW على الفيديو والصوت والرسومات - في الواقع، يمكن تحليل أي بيانات يمكن تحويلها إلى تمثيل خطي باستخدام DTW.

من التطبيقات المعروفة التعرف التلقائي على الكلام، للتعامل مع سرعات التحدث المختلفة. بشكل عام، إنها طريقة تسمح للكمبيوتر بإيجاد تطابق مثالي بين تسلسلين معينين (على سبيل المثال، سلسلة زمنية) مع قيود معينة. أي أن التسلسلات "مشوهة" بشكل غير خطي لتتوافق مع بعضها البعض. غالبًا ما تُستخدم طريقة محاذاة التسلسل هذه في سياق نماذج ماركوف المخفية.

الشبكات العصبية

ظهرت الشبكات العصبية كنهج جذاب للنمذجة الصوتية في التعرف على الكلام في أواخر الثمانينيات. ومنذ ذلك الحين، تم استخدام الشبكات العصبية في العديد من جوانب التعرف على الكلام مثل تصنيف الصوتيات، [71] وتصنيف الصوتيات من خلال خوارزميات تطورية متعددة الأهداف، [72] والتعرف على الكلمات المعزولة، [73] والتعرف على الكلام السمعي البصري ، والتعرف على المتحدث السمعي البصري والتكيف مع المتحدث.

تضع الشبكات العصبية افتراضات أقل صراحة حول الخصائص الإحصائية للميزة مقارنة بنماذج HMMs ولديها العديد من الصفات التي تجعلها نماذج تعرف أكثر جاذبية للتعرف على الكلام. عند استخدامها لتقدير احتمالات جزء من سمة الكلام، تسمح الشبكات العصبية بالتدريب التمييزي بطريقة طبيعية وفعالة. ومع ذلك، وعلى الرغم من فعاليتها في تصنيف الوحدات قصيرة الوقت مثل الفونيمات الفردية والكلمات المعزولة، [74] نادرًا ما كانت الشبكات العصبية المبكرة ناجحة في مهام التعرف المستمر بسبب قدرتها المحدودة على نمذجة التبعيات الزمنية.

كان أحد الأساليب المستخدمة في التعامل مع هذا القيد هو استخدام الشبكات العصبية كخطوة معالجة أولية أو تحويل للميزات أو تقليل الأبعاد، [75] قبل التعرف المستند إلى نموذج المصفوفة المتماثلة. ومع ذلك، في الآونة الأخيرة، أظهرت تقنية LSTM والشبكات العصبية المتكررة ذات الصلة (RNNs)، [39] [43] [76] [77] والشبكات العصبية ذات التأخير الزمني (TDNN's)، [78] والمحولات [48] [49] [50] أداءً محسنًا في هذا المجال.

الشبكات العصبية العميقة المغذية للأمام والمتكررة

الشبكات العصبية العميقة وأجهزة الترميز التلقائي لإزالة الضوضاء [79] قيد التحقيق أيضًا. الشبكة العصبية العميقة للتغذية الأمامية (DNN) هي شبكة عصبية اصطناعية ذات طبقات مخفية متعددة من الوحدات بين طبقات الإدخال والإخراج. [53] وعلى غرار الشبكات العصبية الضحلة، يمكن للشبكات العصبية العميقة نمذجة علاقات غير خطية معقدة. تولد هياكل الشبكات العصبية العميقة نماذج تركيبية، حيث تمكن الطبقات الإضافية من تكوين ميزات من طبقات أدنى، مما يعطي قدرة تعلم هائلة وبالتالي إمكانية نمذجة أنماط معقدة من بيانات الكلام. [80]

حدث نجاح الشبكات العصبية العميقة في التعرف على الكلام ذي المفردات الكبيرة في عام 2010 من قبل باحثين صناعيين، بالتعاون مع باحثين أكاديميين، حيث تم اعتماد طبقات إخراج كبيرة من الشبكة العصبية العميقة استنادًا إلى حالات HMM المعتمدة على السياق والتي تم إنشاؤها بواسطة أشجار القرار. [81] [82] [83] راجع المراجعات الشاملة لهذا التطور والحالة الفنية حتى أكتوبر 2014 في كتاب Springer الأخير من Microsoft Research. [84] انظر أيضًا الخلفية ذات الصلة بالتعرف التلقائي على الكلام وتأثير نماذج التعلم الآلي المختلفة، بما في ذلك التعلم العميق بشكل خاص ، في مقالات النظرة العامة الأخيرة. [85] [86]

أحد المبادئ الأساسية للتعلم العميق هو التخلص من هندسة الميزات المصنوعة يدويًا واستخدام الميزات الخام. تم استكشاف هذا المبدأ لأول مرة بنجاح في بنية المشفر التلقائي العميق على مخطط الطيف "الخام" أو ميزات بنك المرشح الخطي، [87] مما يدل على تفوقه على ميزات Mel-Cepstral التي تحتوي على بضع مراحل من التحويل الثابت من المخططات الطيفية. تم مؤخرًا إثبات أن الميزات "الخام" الحقيقية للكلام، الأشكال الموجية، تنتج نتائج ممتازة للتعرف على الكلام على نطاق أوسع. [88]

التعرف التلقائي على الكلام من البداية إلى النهاية

منذ عام 2014، كان هناك الكثير من الاهتمام البحثي في ​​التعرف التلقائي على الكلام "من البداية إلى النهاية". تتطلب الأساليب التقليدية القائمة على الصوتيات (أي جميع النماذج القائمة على HMM ) مكونات وتدريبًا منفصلين لنموذج النطق والصوت واللغة . تتعلم النماذج الشاملة بشكل مشترك جميع مكونات برنامج التعرف على الكلام. وهذا أمر قيم لأنه يبسط عملية التدريب وعملية النشر. على سبيل المثال، يلزم وجود نموذج لغة n-gram لجميع الأنظمة القائمة على HMM، وغالبًا ما يستغرق نموذج لغة n-gram النموذجي عدة غيغابايت في الذاكرة مما يجعل نشرها على الأجهزة المحمولة غير عملي. [89] وبالتالي، يتم نشر أنظمة التعرف التلقائي على الكلام التجارية الحديثة من Google و Apple (اعتبارًا من عام 2017 ) على السحابة وتتطلب اتصالاً بالشبكة بدلاً من الجهاز محليًا.

كانت المحاولة الأولى في التعرف التلقائي على الكلام من البداية إلى النهاية باستخدام أنظمة تعتمد على التصنيف الزمني الاتصالي (CTC) قدمها أليكس جريفز من Google DeepMind وNavdeep Jaitly من جامعة تورنتو في عام 2014. [90] يتكون النموذج من شبكات عصبية متكررة وطبقة CTC. بشكل مشترك، يتعلم نموذج RNN-CTC النطق والنموذج الصوتي معًا، ومع ذلك فهو غير قادر على تعلم اللغة بسبب افتراضات الاستقلال الشرطي المشابهة لـ HMM. وبالتالي، يمكن لنماذج CTC أن تتعلم بشكل مباشر كيفية تعيين صوتيات الكلام للأحرف الإنجليزية، لكن النماذج ترتكب العديد من الأخطاء الإملائية الشائعة ويجب أن تعتمد على نموذج لغوي منفصل لتنظيف النصوص. لاحقًا، توسعت Baidu في العمل بمجموعات بيانات كبيرة للغاية وأظهرت بعض النجاح التجاري في الماندرين الصينية والإنجليزية. [91] في عام 2016، قدمت جامعة أكسفورد LipNet ، [92] أول نموذج لقراءة الشفاه على مستوى الجملة من البداية إلى النهاية، باستخدام التفافات مكانية زمنية مقترنة بهندسة RNN-CTC، متجاوزًا الأداء على مستوى الإنسان في مجموعة بيانات قواعد نحوية مقيدة. [93] تم تقديم هندسة CNN-RNN-CTC واسعة النطاق في عام 2018 بواسطة Google DeepMind محققة أداءً أفضل بست مرات من الخبراء البشريين. [94] في عام 2019، أطلقت Nvidia نموذجين CNN-CTC ASR، Jasper وQuarzNet، مع نسبة كفاءة أداء إجمالية تبلغ 3٪. [95] [96] على غرار تطبيقات التعلم العميق الأخرى، يعد التعلم الانتقالي وتكييف المجال استراتيجيات مهمة لإعادة استخدام وتوسيع قدرات نماذج التعلم العميق، خاصة بسبب التكاليف العالية لتدريب النماذج من الصفر، والحجم الصغير للنصوص المتاحة بالعديد من اللغات و/أو المجالات المحددة. [97] [98] [99]

النهج البديل للنماذج القائمة على CTC هو النماذج القائمة على الانتباه. تم تقديم نماذج التعرف التلقائي على الكلام القائمة على الانتباه في وقت واحد من قبل تشان وآخرون من جامعة كارنيجي ميلون وجوجل برين وبهداناو وآخرون من جامعة مونتريال في عام 2016. [100] [101] النموذج المسمى "الاستماع والاهتمام والتهجئة" (LAS)، "يستمع" حرفيًا إلى الإشارة الصوتية، ويولي "اهتمامًا" لأجزاء مختلفة من الإشارة و"يهجئ" النص حرفًا واحدًا في كل مرة. على عكس النماذج القائمة على CTC، لا تحتوي النماذج القائمة على الانتباه على افتراضات الاستقلال الشرطي ويمكنها تعلم جميع مكونات متعرف الكلام بما في ذلك نموذج النطق والصوت واللغة بشكل مباشر. هذا يعني أنه أثناء النشر، ليست هناك حاجة لحمل نموذج لغوي مما يجعله عمليًا للغاية للتطبيقات ذات الذاكرة المحدودة. بحلول نهاية عام 2016، شهدت النماذج القائمة على الانتباه نجاحًا كبيرًا بما في ذلك التفوق على نماذج CTC (مع أو بدون نموذج لغة خارجي). [102] تم اقتراح امتدادات مختلفة منذ نموذج LAS الأصلي. اقترحت جامعة كارنيجي ميلون ومعهد ماساتشوستس للتكنولوجيا وجوجل برين تحليلات التسلسل الكامنة (LSD) لإصدار وحدات فرعية من الكلمات بشكل مباشر أكثر طبيعية من الأحرف الإنجليزية؛ [103] قامت جامعة أكسفورد وجوجل ديب مايند بتوسيع LAS إلى "Watch, Listen, Attend and Spell" (WLAS) للتعامل مع قراءة الشفاه التي تتجاوز الأداء البشري. [104]

التطبيقات

أنظمة داخل السيارة

عادةً ما يتم تمكين نظام التعرف على الكلام عن طريق إدخال التحكم اليدوي، على سبيل المثال عن طريق التحكم بالإصبع على عجلة القيادة، ويتم إرسال إشارة إلى السائق من خلال مطالبة صوتية. بعد المطالبة الصوتية، يحتوي النظام على "نافذة استماع" يمكن خلالها قبول إدخال الكلام للتعرف عليه. [ بحاجة لمصدر ]

يمكن استخدام الأوامر الصوتية البسيطة لبدء مكالمات هاتفية أو اختيار محطات الراديو أو تشغيل الموسيقى من هاتف ذكي متوافق أو مشغل MP3 أو محرك أقراص محمول محمّل بالموسيقى. تختلف قدرات التعرف على الصوت باختلاف طراز السيارة. توفر بعض أحدث طرازات السيارات [ متى؟ ] التعرف على الكلام باللغة الطبيعية بدلاً من مجموعة ثابتة من الأوامر، مما يسمح للسائق باستخدام جمل كاملة وعبارات شائعة. مع مثل هذه الأنظمة، لا توجد حاجة للمستخدم لحفظ مجموعة من كلمات الأوامر الثابتة. [ بحاجة لمصدر ]

تعليم

تقييم النطق التلقائي هو استخدام التعرف على الكلام للتحقق من صحة الكلام المنطوق، [105] على عكس التقييم اليدوي من قبل المدرب أو المراقب. [106] يُطلق عليه أيضًا التحقق من الكلام وتقييم النطق وتسجيل النطق، والتطبيق الرئيسي لهذه التكنولوجيا هو تعليم النطق بمساعدة الكمبيوتر (CAPT) عند دمجه مع التعليم بمساعدة الكمبيوتر لتعلم اللغة بمساعدة الكمبيوتر (CALL) أو علاج الكلام أو تقليل اللهجة . لا يحدد تقييم النطق الكلام غير المعروف (كما هو الحال في الإملاء أو النسخ التلقائي ) ولكن بدلاً من ذلك، من خلال معرفة الكلمة (الكلمات) المتوقعة مسبقًا، فإنه يحاول التحقق من صحة نطق المتعلم ومن الناحية المثالية وضوحها للمستمعين ، [107] [108] في بعض الأحيان جنبًا إلى جنب مع العروض غير المهمة غالبًا مثل التنغيم والنغمة والإيقاع والتوتر . [109] يتم استخدام تقييم النطق أيضًا في دروس القراءة ، على سبيل المثال في منتجات مثل Microsoft Teams [110] ومن Amira Learning. [111] يمكن أيضًا استخدام تقييم النطق التلقائي للمساعدة في تشخيص وعلاج اضطرابات الكلام مثل فقدان القدرة على الكلام . [112]

إن تقييم وضوح المستمع الحقيقي أمر ضروري لتجنب الأخطاء الناجمة عن تحيز اللهجة ، وخاصة في التقييمات عالية المخاطر؛ [113] [114] [115] من الكلمات ذات النطق الصحيح المتعدد؛ [116] ومن أخطاء ترميز الصوتيات في قواميس النطق القابلة للقراءة آليًا. [117] في عام 2022، وجد الباحثون أن بعض أنظمة تحويل الكلام إلى نص الأحدث، القائمة على التعلم التعزيزي الشامل لرسم إشارات الصوت مباشرة في الكلمات، تنتج درجات ثقة في الكلمات والعبارات مرتبطة ارتباطًا وثيقًا بوضوح المستمع الحقيقي. [118] في معايير تقييم الإطار الأوروبي المرجعي المشترك للغات (CEFR) لـ "التحكم الصوتي الشامل"، تفوق الوضوح النطق الصحيح رسميًا على جميع المستويات. [119]

الرعاية الصحية

التوثيق الطبي

في قطاع الرعاية الصحية ، يمكن تنفيذ التعرف على الكلام في الواجهة الأمامية أو الخلفية لعملية التوثيق الطبي. التعرف على الكلام في الواجهة الأمامية هو حيث يملي مقدم الخدمة في محرك التعرف على الكلام، ويتم عرض الكلمات المعترف بها أثناء نطقها، ويكون الدكتاتور مسؤولاً عن تحرير المستند والتوقيع عليه. التعرف على الكلام في الواجهة الخلفية أو المؤجل هو حيث يملي مقدم الخدمة في نظام إملاء رقمي ، ويتم توجيه الصوت من خلال جهاز التعرف على الكلام ويتم توجيه مسودة المستند المعترف بها مع ملف الصوت الأصلي إلى المحرر، حيث يتم تحرير المسودة وإنهاء التقرير. يتم استخدام التعرف على الكلام المؤجل على نطاق واسع في الصناعة حاليًا.

من القضايا الرئيسية المتعلقة باستخدام التعرف على الكلام في الرعاية الصحية أن قانون الإنعاش والاستثمار الأمريكي لعام 2009 ( ARRA ) ينص على فوائد مالية كبيرة للأطباء الذين يستخدمون السجلات الطبية الإلكترونية وفقًا لمعايير "الاستخدام الهادف". تتطلب هذه المعايير الاحتفاظ بكمية كبيرة من البيانات بواسطة السجلات الطبية الإلكترونية (يشار إليها الآن بشكل أكثر شيوعًا باسم السجل الصحي الإلكتروني أو EHR). إن استخدام التعرف على الكلام أكثر ملاءمة بشكل طبيعي لتوليد نص سردي، كجزء من تفسير الأشعة / علم الأمراض أو ملاحظة التقدم أو ملخص الخروج: المكاسب المريحة لاستخدام التعرف على الكلام لإدخال بيانات منفصلة منظمة (على سبيل المثال، القيم الرقمية أو الرموز من قائمة أو مفردات محكومة ) ضئيلة نسبيًا للأشخاص المبصرين والذين يمكنهم تشغيل لوحة المفاتيح والفأرة.

إن المشكلة الأكثر أهمية هي أن أغلب السجلات الطبية الإلكترونية لم يتم تصميمها بشكل صريح للاستفادة من قدرات التعرف على الصوت. إن جزءاً كبيراً من تفاعل الطبيب مع السجلات الطبية الإلكترونية يتضمن التنقل عبر واجهة المستخدم باستخدام القوائم، والنقر على علامات التبويب/الأزرار، ويعتمد بشكل كبير على لوحة المفاتيح والفأرة: فالتنقل الصوتي لا يوفر سوى فوائد متواضعة من الناحية الهندسية. وعلى النقيض من ذلك، فإن العديد من الأنظمة المخصصة للغاية للإملاء في مجال الأشعة أو علم الأمراض تطبق "ماكرو" صوتياً، حيث يؤدي استخدام عبارات معينة ــ على سبيل المثال "تقرير طبيعي" ــ إلى ملء عدد كبير من القيم الافتراضية تلقائياً و/أو إنشاء نموذج أولي، وهو ما يختلف وفقاً لنوع الفحص ــ على سبيل المثال، الأشعة السينية على الصدر مقابل سلسلة التباين المعوي لنظام الأشعة.

الاستخدام العلاجي

لقد أظهر الاستخدام المطول لبرامج التعرف على الكلام بالتزامن مع معالجات الكلمات فوائد في تقوية الذاكرة قصيرة المدى لدى مرضى التشوهات الشريانية الوريدية في المخ الذين عولجوا بالاستئصال . ولابد من إجراء المزيد من الأبحاث لتحديد الفوائد المعرفية للأفراد الذين عولجوا من التشوهات الشريانية الوريدية باستخدام تقنيات الأشعة. [ بحاجة لمصدر ]

جيش

طائرة مقاتلة عالية الأداء

لقد تم تكريس جهود كبيرة في العقد الماضي لاختبار وتقييم التعرف على الكلام في الطائرات المقاتلة . ومن الجدير بالذكر بشكل خاص البرنامج الأمريكي للتعرف على الكلام لدمج تكنولوجيا المقاتلات المتقدمة (AFTI) / طائرات F-16 ( F-16 VISTA )، والبرنامج في فرنسا لطائرات ميراج ، وبرامج أخرى في المملكة المتحدة تتعامل مع مجموعة متنوعة من منصات الطائرات. في هذه البرامج، تم تشغيل أجهزة التعرف على الكلام بنجاح في الطائرات المقاتلة، مع تطبيقات تشمل ضبط الترددات اللاسلكية، والتحكم في نظام الطيار الآلي، وضبط إحداثيات نقطة التوجيه ومعايير إطلاق الأسلحة، والتحكم في عرض الطيران.

من خلال العمل مع الطيارين السويديين الذين كانوا يحلقون في قمرة القيادة لطائرة JAS-39 Gripen، وجد إنجلوند (2004) أن التعرف يتدهور مع زيادة أحمال الجاذبية . وخلص التقرير أيضًا إلى أن التكيف أدى إلى تحسين النتائج بشكل كبير في جميع الحالات وأن إدخال نماذج التنفس أثبت أنه يحسن درجات التعرف بشكل كبير. وعلى عكس ما كان متوقعًا، لم يتم العثور على أي تأثيرات للغة الإنجليزية المكسورة للمتحدثين. كان من الواضح أن الكلام التلقائي يسبب مشاكل للمتعرف، كما كان متوقعًا. وبالتالي، يمكن توقع أن المفردات المحدودة، وقبل كل شيء، بناء الجملة السليم، من شأنها أن تحسن دقة التعرف بشكل كبير. [120]

تستخدم طائرة يوروفايتر تايفون ، التي تعمل حاليًا مع سلاح الجو الملكي البريطاني ، نظامًا يعتمد على مكبر الصوت، مما يتطلب من كل طيار إنشاء قالب. لا يُستخدم النظام لأي مهام حرجة للسلامة أو للأسلحة، مثل إطلاق السلاح أو خفض الهيكل السفلي، ولكنه يُستخدم لمجموعة واسعة من وظائف قمرة القيادة الأخرى. يتم تأكيد الأوامر الصوتية من خلال ردود الفعل المرئية و/أو السمعية. يُنظر إلى النظام على أنه ميزة تصميمية رئيسية في تقليل عبء عمل الطيار ، [121] بل ويسمح للطيار بتعيين أهداف لطائرته بأمرين صوتيين بسيطين أو لأي من رفاقه بخمسة أوامر فقط. [122]

كما يتم تطوير أنظمة مستقلة عن مكبرات الصوت ويتم اختبارها لطائرة F-35 Lightning II (JSF) وطائرة التدريب المقاتلة Alenia Aermacchi M-346 Master . وقد أنتجت هذه الأنظمة درجات دقة في الكلمات تتجاوز 98%. [123]

طائرات الهليكوبتر

إن مشاكل تحقيق دقة التعرف العالية تحت الضغط والضوضاء ذات أهمية خاصة في بيئة المروحيات وكذلك في بيئة المقاتلات النفاثة. إن مشكلة الضوضاء الصوتية أكثر حدة في بيئة المروحيات، ليس فقط بسبب مستويات الضوضاء العالية ولكن أيضًا لأن طيار المروحية، بشكل عام، لا يرتدي قناع وجه ، مما يقلل من الضوضاء الصوتية في الميكروفون . تم تنفيذ برامج اختبار وتقييم كبيرة في العقد الماضي في تطبيقات أنظمة التعرف على الكلام في المروحيات، ولا سيما من قبل نشاط البحث والتطوير في مجال إلكترونيات الطيران في الجيش الأمريكي (AVRADA) ومن قبل مؤسسة الطيران الملكية ( RAE ) في المملكة المتحدة. وشمل العمل في فرنسا التعرف على الكلام في مروحية بوما . كان هناك أيضًا الكثير من العمل المفيد في كندا . كانت النتائج مشجعة، وشملت تطبيقات الصوت: التحكم في أجهزة الاتصال اللاسلكية، وضبط أنظمة الملاحة ، والتحكم في نظام تسليم الهدف الآلي.

كما هو الحال في تطبيقات المقاتلات، فإن القضية الرئيسية فيما يتعلق بالصوت في الطائرات المروحية هي التأثير على فعالية الطيار. وقد تم الإبلاغ عن نتائج مشجعة لاختبارات AVRADA، على الرغم من أنها لا تمثل سوى عرض جدوى في بيئة اختبار. لا يزال هناك الكثير مما يجب القيام به في كل من التعرف على الكلام وتكنولوجيا الكلام بشكل عام من أجل تحقيق تحسينات الأداء بشكل مستمر في الإعدادات التشغيلية.

تدريب مراقبي الحركة الجوية

إن تدريب مراقبي الحركة الجوية يمثل تطبيقاً ممتازاً لأنظمة التعرف على الكلام. وتتطلب العديد من أنظمة تدريب مراقبي الحركة الجوية حالياً من الشخص أن يعمل كطيار زائف، فيدخل في حوار صوتي مع مراقب الحركة الجوية المتدرب، والذي يحاكي الحوار الذي يتعين على المراقب أن يجريه مع الطيارين في موقف حقيقي في مراقبة الحركة الجوية. وتوفر تقنيات التعرف على الكلام والتوليف إمكانية القضاء على الحاجة إلى أن يعمل الشخص كطيار زائف، وبالتالي تقليل عدد أفراد التدريب والدعم. ومن الناحية النظرية، تتميز مهام مراقبي الحركة الجوية أيضاً بالكلام المنظم للغاية باعتباره الناتج الأساسي للمراقب، وبالتالي فإن تقليل صعوبة مهمة التعرف على الكلام أمر ممكن. ولكن في الممارسة العملية، نادراً ما يحدث هذا. وتوضح وثيقة إدارة الطيران الفيدرالية 7110.65 العبارات التي ينبغي أن يستخدمها مراقبو الحركة الجوية. وفي حين أن هذه الوثيقة تقدم أقل من 150 مثالاً لهذه العبارات، فإن عدد العبارات التي تدعمها أنظمة التعرف على الكلام التي يقدمها أحد موردي المحاكاة يتجاوز 500000.

تستخدم القوات الجوية الأمريكية، وقوات مشاة البحرية الأمريكية، والجيش الأمريكي، والبحرية الأمريكية، وإدارة الطيران الفيدرالية، فضلاً عن عدد من منظمات تدريب مراقبة الحركة الجوية الدولية مثل القوات الجوية الملكية الأسترالية وسلطات الطيران المدني في إيطاليا والبرازيل وكندا حاليًا أجهزة محاكاة مراقبة الحركة الجوية مع التعرف على الكلام من عدد من البائعين المختلفين. [ بحاجة لمصدر ]

الاتصالات الهاتفية والمجالات الأخرى

لقد أصبح التعرف على الكلام الآن شائعًا في مجال الاتصالات الهاتفية ، كما أصبح أكثر انتشارًا في مجال ألعاب الكمبيوتر والمحاكاة. وفي أنظمة الاتصالات الهاتفية، يتم استخدام التعرف على الكلام الآن بشكل أساسي في مراكز الاتصال من خلال دمجه مع أنظمة الاستجابة الصوتية التفاعلية. وعلى الرغم من المستوى العالي للتكامل مع معالجة النصوص في الحوسبة الشخصية بشكل عام، إلا أنه في مجال إنتاج المستندات، لم يشهد التعرف على الكلام الزيادة المتوقعة في الاستخدام.

لقد أدى تحسين سرعات معالجات الأجهزة المحمولة إلى جعل التعرف على الكلام أمرًا عمليًا في الهواتف الذكية . يتم استخدام الكلام في الغالب كجزء من واجهة المستخدم، لإنشاء أوامر كلامية محددة مسبقًا أو مخصصة.

الأشخاص ذوي الإعاقة

يمكن للأشخاص ذوي الإعاقة الاستفادة من برامج التعرف على الكلام. بالنسبة للأفراد الصم أو ضعاف السمع، يتم استخدام برامج التعرف على الكلام لإنشاء ترجمة مغلقة للمحادثات تلقائيًا مثل المناقشات في غرف المؤتمرات والمحاضرات في الفصول الدراسية و/أو الخدمات الدينية. [124]

يمكن للطلاب المكفوفين (انظر العمى والتعليم ) أو الذين يعانون من ضعف شديد في البصر الاستفادة من استخدام التكنولوجيا لنقل الكلمات ثم سماع الكمبيوتر يتلوها، بالإضافة إلى استخدام الكمبيوتر عن طريق إصدار الأوامر بأصواتهم، بدلاً من الاضطرار إلى النظر إلى الشاشة ولوحة المفاتيح. [125]

يمكن للطلاب الذين يعانون من إعاقات جسدية بسبب إصابة إجهاد متكررة /إصابات أخرى في الأطراف العلوية أن يتخلصوا من القلق بشأن الكتابة اليدوية أو الكتابة على الآلة الكاتبة أو العمل مع الكاتب في المهام المدرسية باستخدام برامج تحويل الكلام إلى نص. كما يمكنهم الاستفادة من تقنية التعرف على الكلام للاستمتاع بالبحث على الإنترنت أو استخدام الكمبيوتر في المنزل دون الحاجة إلى تشغيل الماوس ولوحة المفاتيح فعليًا. [125]

يمكن أن يسمح التعرف على الكلام للطلاب ذوي صعوبات التعلم بأن يصبحوا كتابًا أفضل. من خلال نطق الكلمات بصوت عالٍ، يمكنهم زيادة سيولة كتابتهم، والتخفيف من المخاوف المتعلقة بالتهجئة والترقيم وآليات الكتابة الأخرى. [126] انظر أيضًا صعوبات التعلم .

لقد ثبت أن استخدام برامج التعرف على الصوت، إلى جانب جهاز تسجيل الصوت الرقمي وجهاز كمبيوتر شخصي يعمل ببرنامج معالجة الكلمات، مفيد في استعادة سعة الذاكرة قصيرة المدى التالفة، لدى الأفراد الذين خضعوا للسكتة الدماغية وعمليات فتح الجمجمة.

التعرف على الكلام مفيد أيضًا للأشخاص الذين يعانون من صعوبة في استخدام أيديهم، بدءًا من إصابات الإجهاد المتكررة الخفيفة إلى الإعاقات التي تمنع استخدام أجهزة الإدخال التقليدية للكمبيوتر. في الواقع، أصبح الأشخاص الذين استخدموا لوحة المفاتيح كثيرًا وطوروا إصابات الإجهاد المتكررة سوقًا مبكرًا عاجلاً للتعرف على الكلام. [127] [128] يتم استخدام التعرف على الكلام في الهاتف للصم ، مثل البريد الصوتي إلى النص، وخدمات التتابع ، والهاتف المترجم . يمكن للأفراد ذوي الإعاقات التعلمية الذين يعانون من مشاكل في التواصل من الفكر إلى الورق (في الأساس يفكرون في فكرة ولكن تتم معالجتها بشكل غير صحيح مما يؤدي إلى ظهورها بشكل مختلف على الورق) الاستفادة من البرنامج ولكن التكنولوجيا ليست خالية من الأخطاء. [129] أيضًا، قد تكون فكرة التحدث إلى النص صعبة على الأشخاص ذوي الإعاقة الفكرية نظرًا لحقيقة أنه من النادر أن يحاول أي شخص تعلم التكنولوجيا لتعليم الشخص المعاق. [130]

يمكن أن يساعد هذا النوع من التكنولوجيا أولئك الذين يعانون من عسر القراءة ولكن الإعاقات الأخرى لا تزال موضع شك. إن فعالية المنتج هي المشكلة التي تعوقه عن أن يكون فعالاً. على الرغم من أن الطفل قد يكون قادرًا على نطق كلمة ما اعتمادًا على مدى وضوح نطقه لها، فقد تعتقد التكنولوجيا أنه يقول كلمة أخرى وتدخل الكلمة الخاطئة. مما يمنحهم المزيد من العمل لإصلاحه، مما يتسبب في اضطرارهم إلى قضاء المزيد من الوقت في إصلاح الكلمة الخاطئة. [131]

تطبيقات أخرى

أداء

يتم تقييم أداء أنظمة التعرف على الكلام عادةً من حيث الدقة والسرعة. [136] [137] يتم تصنيف الدقة عادةً بمعدل خطأ الكلمة (WER)، بينما يتم قياس السرعة بعامل الوقت الحقيقي. تشمل مقاييس الدقة الأخرى معدل خطأ الكلمة الواحدة (SWER) ومعدل نجاح الأمر (CSR).

ومع ذلك، فإن التعرف على الكلام بواسطة الآلة يمثل مشكلة معقدة للغاية. حيث تختلف الأصوات من حيث اللهجة والنطق والنطق والخشونة والصوت الأنفي ودرجة الصوت والحجم والسرعة. ويتشوه الكلام بسبب الضوضاء الخلفية والأصداء والخصائص الكهربائية. وقد تختلف دقة التعرف على الكلام وفقًا لما يلي: [138] [ بحاجة لمصدر ]

  • حجم المفردات والارتباك
  • الاعتماد على المتحدث مقابل الاستقلال
  • كلام معزول أو متقطع أو متواصل
  • قيود المهام واللغة
  • القراءة مقابل الكلام العفوي
  • الظروف المعاكسة

دقة

كما ذكرنا سابقًا في هذه المقالة، قد تختلف دقة التعرف على الكلام اعتمادًا على العوامل التالية:

  • تزداد معدلات الخطأ مع نمو حجم المفردات:
على سبيل المثال، يمكن التعرف على الأرقام العشرة "صفر" إلى "تسعة" بشكل مثالي إلى حد كبير، ولكن أحجام المفردات التي تبلغ 200 أو 5000 أو 100000 قد يكون معدل الخطأ فيها 3% أو 7% أو 45% على التوالي.
  • من الصعب التعرف على المفردات إذا كانت تحتوي على أحرف مربكة:
على سبيل المثال، يصعب التمييز بين الحروف الـ 26 للأبجدية الإنجليزية لأنها كلمات مربكة (أشهرها مجموعة E: "B, C, D, E, G, P, T, V, Z — عندما يتم نطق "Z" "zee" بدلاً من "zed" اعتمادًا على المنطقة الإنجليزية)؛ ويعتبر معدل الخطأ 8% جيدًا لهذه المفردات. [139]
  • الاعتماد على المتحدث مقابل الاستقلال:
النظام المعتمد على مكبر الصوت مخصص للاستخدام بواسطة مكبر صوت واحد.
إن النظام المستقل عن مكبر الصوت مخصص للاستخدام من قبل أي مكبر صوت (الأمر أكثر صعوبة).
  • كلام معزول أو متقطع أو متواصل
في الكلام المعزول، يتم استخدام الكلمات المفردة، وبالتالي يصبح التعرف على الكلام أسهل.

في الكلام المتقطع يتم استخدام جمل كاملة مفصولة بصمت، وبالتالي يصبح من الأسهل التعرف على الكلام كما هو الحال في الكلام المنعزل.
في الكلام المستمر يتم استخدام جمل منطوقة بشكل طبيعي، وبالتالي يصبح من الصعب التعرف على الكلام، وهو ما يختلف عن الكلام المنعزل والمتقطع.

  • قيود المهام واللغة
    • على سبيل المثال، قد يرفض تطبيق الاستعلام الفرضية القائلة بأن "التفاحة حمراء".
    • على سبيل المثال، قد تكون القيود دلالية؛ مثل رفض "التفاحة غاضبة".
    • على سبيل المثال، رفض "اللون الأحمر هو التفاحة".

غالبًا ما يتم تمثيل القيود من خلال القواعد النحوية.

  • القراءة مقابل الكلام التلقائي - عندما يقرأ الشخص، يكون ذلك عادةً في سياق تم إعداده مسبقًا، ولكن عندما يستخدم الشخص كلامًا تلقائيًا، يكون من الصعب التعرف على الكلام بسبب عدم طلاقة الكلام (مثل "أوه" و"أم"، والبدايات الخاطئة، والجمل غير المكتملة، والتلعثم، والسعال، والضحك) والمفردات المحدودة.
  • الظروف المعاكسة – الضوضاء البيئية (مثل الضوضاء في السيارة أو المصنع). التشوهات الصوتية (مثل الصدى، وصوتيات الغرفة)

التعرف على الكلام هو مهمة التعرف على الأنماط متعددة المستويات.

  • يتم تنظيم الإشارات الصوتية في تسلسل هرمي من الوحدات، على سبيل المثال: الصوتيات ، والكلمات، والعبارات، والجمل؛
  • يوفر كل مستوى قيودًا إضافية؛

على سبيل المثال، نطق الكلمات المعروفة أو تسلسل الكلمات القانونية، والتي يمكن أن تعوض عن الأخطاء أو عدم اليقين على مستوى أدنى؛

  • إن هذا التسلسل الهرمي من القيود يتم استغلاله. فمن خلال الجمع بين القرارات على أساس احتمالي على جميع المستويات الأدنى، واتخاذ قرارات أكثر حتمية فقط على أعلى مستوى، فإن التعرف على الكلام بواسطة الآلة هو عملية مقسمة إلى عدة مراحل. ومن الناحية الحسابية، إنها مشكلة حيث يتعين التعرف على نمط الصوت أو تصنيفه في فئة تمثل معنى للإنسان. ويمكن تقسيم كل إشارة صوتية إلى إشارات فرعية أصغر وأكثر أساسية. ومع تقسيم إشارة الصوت الأكثر تعقيدًا إلى أصوات فرعية أصغر، يتم إنشاء مستويات مختلفة، حيث لدينا في المستوى الأعلى أصوات معقدة، والتي تتكون من أصوات أبسط على المستوى الأدنى، والانتقال إلى مستويات أدنى، أكثر من ذلك، فإننا نخلق أصواتًا أكثر أساسية وأقصر وأبسط. وعلى المستوى الأدنى، حيث تكون الأصوات هي الأكثر جوهرية، فإن الآلة ستتحقق من وجود قواعد بسيطة وأكثر احتمالية لما يجب أن يمثله الصوت. وبمجرد تجميع هذه الأصوات معًا في أصوات أكثر تعقيدًا على المستوى الأعلى، يجب أن تتنبأ مجموعة جديدة من القواعد الأكثر حتمية بما يجب أن يمثله الصوت المعقد الجديد. يجب أن يستوعب المستوى الأعلى من القاعدة الحتمية معنى التعبيرات المعقدة. ولتوسيع معرفتنا حول التعرف على الكلام، نحتاج إلى وضع الشبكات العصبية في الاعتبار. هناك أربع خطوات لنهج الشبكات العصبية:
  • رقمنة الكلام الذي نريد التعرف عليه

بالنسبة للحديث عبر الهاتف فإن معدل أخذ العينات هو 8000 عينة في الثانية؛

  • حساب ميزات المجال الطيفي للكلام (باستخدام تحويل فورييه)؛

يتم حسابها كل 10 مللي ثانية، مع قسم واحد مدته 10 مللي ثانية يسمى إطارًا؛

يمكن تفسير تحليل مناهج الشبكات العصبية ذات الخطوات الأربع بمزيد من المعلومات. يتم إنتاج الصوت عن طريق اهتزاز الهواء (أو أي وسط آخر)، والذي نسجله بواسطة الأذنين، ولكن الآلات تسجله بواسطة أجهزة الاستقبال. يخلق الصوت الأساسي موجة لها وصفان: السعة (مدى قوتها)، والتردد (عدد مرات اهتزازها في الثانية). يمكن حساب الدقة بمساعدة معدل خطأ الكلمات (WER). يمكن حساب معدل خطأ الكلمات عن طريق محاذاة الكلمة المعترف بها والكلمة المرجعية باستخدام محاذاة السلسلة الديناميكية. قد تحدث المشكلة أثناء حساب معدل خطأ الكلمات بسبب الفرق بين أطوال تسلسل الكلمة المعترف بها والكلمة المرجعية.

الصيغة لحساب معدل الخطأ في الكلمات (WER) هي:

حيث s هو عدد الاستبدالات، و d هو عدد الحذف، و i هو عدد الإدخالات، و n هو عدد مراجع الكلمات.

أثناء الحوسبة، يتم استخدام معدل التعرف على الكلمات (WRR). الصيغة هي:

حيث h هو عدد الكلمات التي تم التعرف عليها بشكل صحيح:

المخاوف الأمنية

يمكن أن يصبح التعرف على الكلام وسيلة للهجوم أو السرقة أو التشغيل العرضي. على سبيل المثال، يمكن أن تتسبب كلمات التنشيط مثل "Alexa" المنطوقة في بث صوتي أو مرئي في جعل الأجهزة في المنازل والمكاتب تبدأ في الاستماع إلى الإدخال بشكل غير مناسب، أو ربما تتخذ إجراءً غير مرغوب فيه. [140] يمكن أيضًا الوصول إلى الأجهزة التي يتم التحكم فيها صوتيًا من قبل زوار المبنى، أو حتى أولئك الموجودين خارج المبنى إذا كان من الممكن سماعهم بالداخل. قد يتمكن المهاجمون من الوصول إلى المعلومات الشخصية، مثل التقويم ومحتويات دفتر العناوين والرسائل الخاصة والمستندات. قد يتمكنون أيضًا من انتحال شخصية المستخدم لإرسال رسائل أو إجراء عمليات شراء عبر الإنترنت.

وقد تم إثبات وجود هجومين يستخدمان الأصوات الاصطناعية. الأول ينقل الموجات فوق الصوتية ويحاول إرسال الأوامر دون أن يلاحظها الأشخاص القريبون. [141] والثاني يضيف تشوهات صغيرة غير مسموعة إلى الكلام أو الموسيقى الأخرى المصممة خصيصًا لإرباك نظام التعرف على الكلام المحدد في التعرف على الموسيقى على أنها كلام، أو لجعل ما يبدو وكأنه أمر واحد للإنسان يبدو وكأنه أمر مختلف للنظام. [142]

مزيد من المعلومات

المؤتمرات والمجلات

تتضمن مؤتمرات التعرف على الكلام الشائعة التي تُعقد كل عام أو عامين مؤتمرات SpeechTEK وSpeechTEK Europe و ICASSP وInterspeech/Eurospeech وIEEE ASRU. بدأت المؤتمرات في مجال معالجة اللغة الطبيعية ، مثل ACL و NAACL وEMNLP وHLT، في تضمين أوراق بحثية حول معالجة الكلام . تتضمن المجلات المهمة IEEE Transactions on Speech and Audio Processing (التي تمت إعادة تسميتها لاحقًا باسم IEEE Transactions on Audio, Speech and Language Processing ومنذ سبتمبر 2014 تمت إعادة تسميتها باسم IEEE /ACM Transactions on Audio, Speech and Language Processing—بعد الاندماج مع منشور ACM)، وComputer Speech and Language، وSpeech Communication.

كتب

يمكن أن تكون الكتب مثل "أساسيات التعرف على الكلام" للورانس رابينر مفيدة لاكتساب المعرفة الأساسية ولكنها قد لا تكون محدثة بالكامل (1993). يمكن أن يكون مصدر جيد آخر هو "الأساليب الإحصائية للتعرف على الكلام" لفريدريك جيلينك و"معالجة اللغة المنطوقة (2001)" لشيودونج هوانج وما إلى ذلك، و"كلام الكمبيوتر" لمانفريد ر. شرودر ، الطبعة الثانية المنشورة في عام 2004، و"معالجة الكلام: نهج ديناميكي وموجه نحو التحسين" المنشور في عام 2003 من قبل لي دينج ودوج أوشونيسي. يقدم الكتاب المدرسي المحدث " معالجة الكلام واللغة" (2008) من تأليف جورافسكي ومارتن الأساسيات وأحدث التقنيات للتعرف على الكلام. يستخدم التعرف على المتحدث أيضًا نفس الميزات ومعظم نفس المعالجة الأمامية وتقنيات التصنيف كما هو الحال في التعرف على الكلام. يعد الكتاب المدرسي الشامل "أساسيات التعرف على المتحدث" مصدرًا متعمقًا للحصول على تفاصيل حديثة حول النظرية والتطبيق. [143] يمكن اكتساب نظرة ثاقبة جيدة للتقنيات المستخدمة في أفضل الأنظمة الحديثة من خلال الانتباه إلى التقييمات التي ترعاها الحكومة مثل تلك التي تنظمها وكالة مشاريع الأبحاث الدفاعية المتقدمة (أكبر مشروع متعلق بالتعرف على الكلام جارٍ اعتبارًا من عام 2007 هو مشروع GALE، والذي يتضمن مكونات التعرف على الكلام والترجمة).

يقدم كتاب الجمهور العام "الصوت في الآلة. بناء أجهزة كمبيوتر تفهم الكلام" من تأليف روبرتو بيراسيني (2012) مقدمة جيدة وسهلة الوصول إليها عن تقنية التعرف على الكلام وتاريخها.

أحدث كتاب عن التعرف على الكلام هو التعرف التلقائي على الكلام: نهج التعلم العميق (الناشر: سبرينغر) كتبه باحثا مايكروسوفت د. يو و ل. دينج ونُشر قرب نهاية عام 2014، مع تفاصيل تقنية موجهة رياضيًا للغاية حول كيفية اشتقاق طرق التعلم العميق وتنفيذها في أنظمة التعرف على الكلام الحديثة القائمة على الشبكات العصبية العميقة وطرق التعلم العميق ذات الصلة. [84] يقدم كتاب ذو صلة، نُشر في وقت سابق من عام 2014، "التعلم العميق: الأساليب والتطبيقات" بقلم ل. دينج و د. يو نظرة عامة أقل تقنية ولكنها أكثر تركيزًا على المنهجية للتعرف على الكلام القائم على الشبكات العصبية العميقة خلال الفترة 2009-2014، ضمن السياق الأكثر عمومية لتطبيقات التعلم العميق بما في ذلك ليس فقط التعرف على الكلام ولكن أيضًا التعرف على الصور ومعالجة اللغة الطبيعية واسترجاع المعلومات والمعالجة المتعددة الوسائط والتعلم متعدد المهام. [80]

برمجة

من حيث الموارد المتاحة مجانًا، تعد مجموعة أدوات Sphinx التابعة لجامعة كارنيجي ميلون أحد الأماكن التي يمكن البدء منها لتعلم التعرف على الكلام والبدء في التجربة. مصدر آخر (مجاني ولكن محمي بحقوق الطبع والنشر) هو كتاب HTK (ومجموعة أدوات HTK المصاحبة). للحصول على تقنيات أحدث وأكثر تقدمًا، يمكن استخدام مجموعة أدوات Kaldi . [144] في عام 2017، أطلقت موزيلا مشروعًا مفتوح المصدر يسمى Common Voice [145] لجمع قاعدة بيانات كبيرة من الأصوات التي من شأنها أن تساعد في بناء مشروع التعرف على الكلام المجاني DeepSpeech (متاح مجانًا على GitHub )، [146] باستخدام منصة TensorFlow مفتوحة المصدر من Google . [147] عندما أعادت موزيلا توجيه التمويل بعيدًا عن المشروع في عام 2020، قام مطوروها الأصليون بتقسيمه باسم Coqui STT [148] باستخدام نفس ترخيص المصدر المفتوح. [149] [150]

يدعم تطبيق Google Gboard خاصية التعرف على الكلام في جميع تطبيقات Android ، ويمكن تفعيلها من خلال أيقونة الميكروفون . [151]

أصبحت واجهات برمجة تطبيقات التعرف على الكلام التجارية المستندة إلى السحابة متاحة على نطاق واسع.

لمزيد من موارد البرامج، راجع قائمة برامج التعرف على الكلام .

انظر أيضا

القوائم

مراجع

  1. ^ "التعرف على الكلام المتصل المستقل عن المتحدث - شركة كمبيوتر الجيل الخامس". Fifthgen.com. مؤرشف من الأصل في 11 نوفمبر 2013. تم الاسترجاع في 15 يونيو 2013 .
  2. ^ P. Nguyen (2010). "التصنيف التلقائي لخصائص السماعات". المؤتمر الدولي للاتصالات والإلكترونيات 2010. ص 147-152. doi :10.1109/ICCE.2010.5670700. ISBN 978-1-4244-7055-6. S2CID  13482115.
  3. ^ "التعريف الإنجليزي البريطاني للتعرف على الصوت". دار نشر ماكميلان المحدودة. مؤرشف من الأصل في 16 سبتمبر 2011. تم الاسترجاع في 21 فبراير 2012 .
  4. ^ "التعرف على الصوت، تعريف". WebFinance, Inc. مؤرشف من الأصل في 3 ديسمبر 2011. تم الاسترجاع في 21 فبراير 2012 .
  5. ^ "The Mailbag LG #114". Linuxgazette.net. مؤرشف من الأصل في 19 فبراير 2013. تم الاسترجاع في 15 يونيو 2013 .
  6. ^ سارانجي، سوسانتا؛ ساهيد الله، محمد؛ ساها، جوتام (سبتمبر 2020). "تحسين بنك المرشحات المعتمد على البيانات للتحقق التلقائي من المتحدث". معالجة الإشارات الرقمية . 104 : 102795. arXiv : 2007.10729 . رمز Bibcode : 2020DSP...10402795S. doi : 10.1016/j.dsp.2020.102795. S2CID  220665533.
  7. ^ رينولدز، دوغلاس؛ روز، ريتشارد (يناير 1995). "تحديد قوي للمتحدثين مستقل عن النص باستخدام نماذج المتحدثين المختلطة الغاوسية" (PDF) . معاملات معهد مهندسي الكهرباء والإلكترونيات في معالجة الكلام والصوت . 3 (1): 72-83. doi :10.1109/89.365379. ISSN  1063-6676. OCLC  26108901. S2CID  7319345. مؤرشف من الأصل (PDF) في 8 مارس 2014. تم الاسترجاع في 21 فبراير 2014 .
  8. ^ "Speaker Identification (WhisperID)". Microsoft Research . Microsoft. مؤرشف من الأصل في 25 فبراير 2014 . تم الاسترجاع في 21 فبراير 2014 . عندما تتحدث إلى شخص ما، فإنه لا يتعرف فقط على ما تقوله: بل يتعرف أيضًا على من أنت. سيسمح WhisperID لأجهزة الكمبيوتر بالقيام بذلك أيضًا، حيث سيتمكن من معرفة من أنت من خلال طريقة صوتك.
  9. ^ "نعي: ستيفن بالاشيك". ستار ليدجر . 22 يوليو 2012. مؤرشف من الأصل في 4 أبريل 2019. تم الاسترجاع 9 سبتمبر 2024 .
  10. ^ "IBM-Shoebox-front.jpg". androidauthority.net. مؤرشف من الأصل في 9 أغسطس 2018. استرجاع 4 أبريل 2019 .
  11. ^ Juang, BH; Rabiner, Lawrence R. "Automatic speech identify–a Brief history of the technology development" (PDF) . ص. 6. مؤرشف من الأصل (PDF) في 17 أغسطس 2014. تم الاسترجاع في 17 يناير 2015 .
  12. ^ بواسطة ميلاني بينولا (2 نوفمبر 2011). "التعرف على الكلام عبر العقود: كيف انتهى بنا المطاف مع سيري". عالم الكمبيوتر الشخصي . مؤرشف من الأصل في 3 نوفمبر 2018. تم الاسترجاع 22 أكتوبر 2018 .
  13. ^ جراي، روبرت م. (2010). "تاريخ الكلام الرقمي في الوقت الفعلي على شبكات الحزم: الجزء الثاني من الترميز التنبئي الخطي وبروتوكول الإنترنت" (PDF) . تم العثور عليه. Trends Signal Process . 3 (4): 203-303. doi : 10.1561/2000000036 . ISSN  1932-8346. مؤرشف من الأصل (PDF) في 9 أكتوبر 2022. تم الاسترجاع في 9 سبتمبر 2024 .
  14. ^ جون ر. بيرس (1969). "إلى أين يتجه التعرف على الكلام؟". مجلة الجمعية الصوتية الأمريكية . 46 (48): 1049–1051. رمز Bibcode :1969ASAJ...46.1049P. doi :10.1121/1.1911801.
  15. ^ بينستي، جاكوب؛ سوندي، إم إم؛ هوانج، ييتنج (2008). دليل سبرينغر لمعالجة الكلام . سبرينغر ساينس آند بيزنس ميديا. رقم ISBN 978-3540491255.
  16. ^ جون مخول. "حائز على ميدالية ISCA: لقيادته ومساهماته الواسعة في معالجة الكلام واللغة". مؤرشف من الأصل في 24 يناير 2018 . تم الاسترجاع في 23 يناير 2018 .
  17. ^ Blechman, RO; Blechman, Nicholas (23 يونيو 2008). "Hello, Hal". The New Yorker . مؤرشف من الأصل في 20 يناير 2015 . تم الاسترجاع 17 يناير 2015 .
  18. ^ Klatt, Dennis H. (1977). "مراجعة مشروع فهم الكلام ARPA". مجلة الجمعية الصوتية الأمريكية . 62 (6): 1345–1366. Bibcode :1977ASAJ...62.1345K. doi :10.1121/1.381666.
  19. ^ Rabiner (1984). "The Acoustics, Speech, and Signal Processing Society. A Historical Perspective" (PDF) . مؤرشف من الأصل (PDF) في 9 أغسطس 2017. تم الاسترجاع في 23 يناير 2018 .
  20. ^ "First-Hand:The Hidden Markov Model – Engineering and Technology History Wiki". ethw.org . 12 يناير 2015. مؤرشف من الأصل في 3 أبريل 2018 . تم الاسترجاع 1 مايو 2018 .
  21. ^ "مقابلة جيمس بيكر". مؤرشف من الأصل في 28 أغسطس 2017. اطلع عليه بتاريخ 9 فبراير 2017 .
  22. ^ "التعرف الرائد على الكلام". 7 مارس 2012. مؤرشف من الأصل في 19 فبراير 2015. اطلع عليه بتاريخ 18 يناير 2015 .
  23. ^ هوانغ، شيودونج؛ بيكر، جيمس؛ ريدي، راج (يناير 2014). "منظور تاريخي للتعرف على الكلام". اتصالات جمعية الحوسبة الآلية . 57 (1): 94-103. doi :10.1145/2500887. ISSN  0001-0782. S2CID  6175701. مؤرشف من الأصل في 8 ديسمبر 2023.
  24. ^ Juang, BH; Rabiner, Lawrence R. Automatic speech identify–a Brief history of the technology development (PDF) (تقرير). ص. 10. مؤرشف من الأصل (PDF) في 17 أغسطس 2014. تم الاسترجاع في 17 يناير 2015 .
  25. ^ لي، شياوتشانج (1 يوليو 2023). "لا توجد بيانات مثل المزيد من البيانات": التعرف التلقائي على الكلام وصنع الثقافة الخوارزمية. أوزوريس . 38 : 165-182. doi :10.1086/725132. ISSN  0369-7827. S2CID  259502346.
  26. ^ "تاريخ التعرف على الكلام". Dragon Medical Transcription . مؤرشف من الأصل في 13 أغسطس 2015 . تم الاسترجاع في 17 يناير 2015 .
  27. ^ بيلي، روبرتو؛ كانافيسيو، فرانكو؛ سياراميلا، ألبرتو؛ نبيا ، لوتشيانو (1 نوفمبر 1995). “تقنية الصوت التفاعلية في العمل: تجربة CSELT”. التواصل الكلامي . 17 (3): 263-271. دوى :10.1016/0167-6393(95)00030-R.
  28. ^ ab Xuedong Huang; James Baker; Raj Reddy (January 2014). "A Historical Perspective of Speech Recognition". Communications of the ACM. مؤرشف من الأصل في 20 يناير 2015. تم الاسترجاع في 20 يناير 2015 .
  29. ^ كيفن ماكين (8 أبريل 1980). "عندما يتحدث كول، تستمع أجهزة الكمبيوتر". مجلة ساراسوتا. وكالة أسوشيتد برس . تم الاسترجاع في 23 نوفمبر 2015 .
  30. ^ "ACT/Apricot - Apricot history". actapricot.org . مؤرشف من الأصل في 21 ديسمبر 2016 . تم الاسترجاع 2 فبراير 2016 .
  31. ^ ميلاني بينولا (2 نوفمبر 2011). "التعرف على الكلام عبر العقود: كيف انتهى بنا المطاف مع سيري". عالم الكمبيوتر الشخصي . مؤرشف من الأصل في 13 يناير 2017. تم الاسترجاع 28 يوليو 2017 .
  32. ^ "سيرة راي كورزويل". KurzweilAINetwork. مؤرشف من الأصل في 5 فبراير 2014. تم الاسترجاع 25 سبتمبر 2014 .
  33. ^ Juang, BH; Rabiner, Lawrence. Automatic Speech Recognition – A Brief History of the Technology Development (PDF) (تقرير). مؤرشف من الأصل (PDF) في 9 أغسطس 2017. تم الاسترجاع في 28 يوليو 2017 .
  34. ^ "Nuance Exec on iPhone 4S, Siri, and the Future of Speech". Tech.pinions. 10 أكتوبر 2011. مؤرشف من الأصل في 19 نوفمبر 2011. تم الاسترجاع في 23 نوفمبر 2011 .
  35. ^ "Switchboard-1 Release 2". مؤرشف من الأصل في 11 يوليو 2017. اطلع عليه بتاريخ 26 يوليو 2017 .
  36. ^ جيسون كينكايد (13 فبراير 2011). "قوة الصوت: محادثة مع رئيس قسم تكنولوجيا الكلام في جوجل". تيك كرانش . مؤرشف من الأصل في 21 يوليو 2015. تم الاسترجاع في 21 يوليو 2015 .
  37. ^ فرومكين، دان (5 مايو 2015). "الحواسيب تستمع". The Intercept . مؤرشف من الأصل في 27 يونيو 2015 . تم الاسترجاع في 20 يونيو 2015 .
  38. ^ هيرفي بورلارد ونيلسون مورجان ، التعرف على الكلام الاتصالي: نهج هجين، سلسلة كلوير الدولية في الهندسة وعلوم الكمبيوتر؛ المجلد 247، بوسطن: دار نشر كلوير الأكاديمية، 1994.
  39. ^ ab Sepp Hochreiter ؛ J. Schmidhuber (1997). "الذاكرة الطويلة والقصيرة المدى". الحوسبة العصبية . 9 (8): 1735-1780. doi :10.1162/neco.1997.9.8.1735. PMID  9377276. S2CID  1915014.
  40. ^ شميدهوبر، يورجن (2015). "التعلم العميق في الشبكات العصبية: نظرة عامة". الشبكات العصبية . 61 : 85–117. arXiv : 1404.7828 . doi :10.1016/j.neunet.2014.09.003. PMID  25462637. S2CID  11715509.
  41. ^ أليكس جريفز، وسانتياجو فرنانديز، وفاوستينو جوميز، ويورجن شميدهوبر (2006). التصنيف الزمني الاتصالي: وسم بيانات التسلسل غير المجزأة باستخدام الشبكات العصبية المتكررة. مؤرشف من الأصل في 9 سبتمبر 2024 على موقع واي باك مشين . وقائع مؤتمر ICML'06، ص 369-376.
  42. ^ سانتياغو فرنانديز، وأليكس جريفز، ويورجن شميدهوبر (2007). تطبيق الشبكات العصبية المتكررة على تحديد الكلمات الرئيسية التمييزية [ رابط ميت دائم ] . وقائع ICANN (2)، ص 220-229.
  43. ^ ab Haşim Sak, Andrew Senior, Kanishka Rao, Françoise Beaufays and Johan Schalkwyk (September 2015): " "البحث الصوتي من Google: أسرع وأكثر دقة"". مؤرشف من الأصل في 9 مارس 2016. استرجاع 5 أبريل 2016 ."."
  44. ^ دوسوفيتسكي ، أليكسي. باير، لوكاس. كوليسنيكوف، الكسندر؛ ويسينبورن، ديرك. تشاي، شياو هوا؛ أونترثينر، توماس؛ دهقاني، مصطفى؛ مينديرر، ماتياس؛ هيجولد، جورج. جيلي، سيلفان. أوسزكوريت، جاكوب؛ هولسبي ، نيل (3 يونيو 2021). “الصورة تستحق 16 × 16 كلمة: محولات للتعرف على الصور على نطاق واسع”. أرخايف : 2010.11929 [cs.CV].
  45. ^ وو ، هايبينج. شياو بن. كوديلا، نويل؛ ليو، منغشن؛ داي، شيانغ؛ يوان، لو؛ تشانغ ، لي (29 مارس 2021). “CvT: تقديم التلافيف لمحولات الرؤية”. أرخايف : 2103.15808 [cs.CV].
  46. ^ فاسواني ، اشيش. شازير، نعوم؛ بارمار، نيكي؛ أوسزكوريت، جاكوب؛ جونز، ليون؛ جوميز ، ايدان ن. كايزر، لوكاس؛ بولوسوخين، إيليا (2017). "الاهتمام هو كل ما تحتاجه". التقدم في أنظمة معالجة المعلومات العصبية . 30 . شركاء كوران. مؤرشفة من الأصلي في 9 سبتمبر 2024 . تم الاسترجاع في 9 سبتمبر 2024 .
  47. ^ ديفلين، جاكوب؛ تشانج، مينج وي؛ لي، كينتون؛ توتانوفا، كريستينا (24 مايو 2019). "BERT: التدريب المسبق للمحولات ثنائية الاتجاه العميقة لفهم اللغة". arXiv : 1810.04805 [cs.CL].
  48. ^ ab Gong, Yuan; Chung, Yu-An; Glass, James (8 يوليو 2021). "AST: Audio Spectrogram Transformer". arXiv : 2104.01778 [cs.SD].
  49. ^ أب ريستيا، نيكولاي كاتالين؛ إيونيسكو، رادو تيودور؛ خان، فهد شهباز (20 يونيو 2022). “SepTr: محول قابل للفصل لمعالجة الطيف الصوتي”. أرخايف : 2203.09581 [cs.CV].
  50. ^ ab Lohrenz, Timo; Li, Zhengyang; Fingscheidt, Tim (14 يوليو 2021). "التعلم متعدد المشفرات ودمج التدفقات للتعرف التلقائي على الكلام من البداية إلى النهاية المستند إلى المحول". arXiv : 2104.00120 [eess.AS].
  51. ^ "Li Deng". موقع Li Deng. مؤرشف من الأصل في 9 سبتمبر 2024. تم الاسترجاع في 9 سبتمبر 2024 .
  52. ^ ورشة عمل NIPS: التعلم العميق للتعرف على الكلام والتطبيقات ذات الصلة، ويسلر، كولومبيا البريطانية، كندا، ديسمبر 2009 (المنظمون: لي دينج، جيف هينتون، دي يو).
  53. ^ abc Hinton, Geoffrey; Deng, Li; Yu, Dong; Dahl, George; Mohamed, Abdel-Rahman; Jaitly, Navdeep; Senior, Andrew; Vanhoucke, Vincent; Nguyen, Patrick; Sainath, Tara ; Kingsbury, Brian (2012). "الشبكات العصبية العميقة للنمذجة الصوتية في التعرف على الكلام: وجهات النظر المشتركة لأربع مجموعات بحثية". مجلة معالجة الإشارات IEEE . 29 (6): 82-97. Bibcode :2012ISPM...29...82H. doi :10.1109/MSP.2012.2205597. S2CID  206485943.
  54. ^ ab Deng, L.; Hinton, G.; Kingsbury, B. (2013). "أنواع جديدة من التعلم باستخدام الشبكات العصبية العميقة للتعرف على الكلام والتطبيقات ذات الصلة: نظرة عامة". المؤتمر الدولي لمعهد مهندسي الكهرباء والإلكترونيات لعام 2013 حول الصوتيات والكلام ومعالجة الإشارات: أنواع جديدة من التعلم باستخدام الشبكات العصبية العميقة للتعرف على الكلام والتطبيقات ذات الصلة: نظرة عامة . ص. 8599. doi :10.1109/ICASSP.2013.6639344. ISBN 978-1-4799-0356-6. S2CID  13953660.
  55. ^ ab Markoff, John (23 November 2012). "العلماء يرون وعدًا في برامج التعلم العميق". نيويورك تايمز . مؤرشف من الأصل في 30 نوفمبر 2012. تم الاسترجاع في 20 يناير 2015 .
  56. ^ مورجان، بورلارد، رينالز، كوهين، فرانكو (1993) "شبكات عصبية هجينة/أنظمة نموذج ماركوف المخفية للتعرف المستمر على الكلام. ICASSP/IJPRAI"
  57. ^ T. Robinson (1992). "نظام التعرف على الكلمات لشبكة انتشار الأخطاء المتكررة في الوقت الفعلي". [الإجراءات] ICASSP-92: مؤتمر IEEE الدولي لعام 1992 حول الصوتيات والكلام ومعالجة الإشارات . ص. 617-620 المجلد 1. doi :10.1109/ICASSP.1992.225833. ISBN 0-7803-0532-9. S2CID  62446313.
  58. ^ Waibel ، Hanazawa، Hinton، Shikano، Lang. (1989) "التعرف على الصوتيات باستخدام الشبكات العصبية ذات التأخير الزمني محفوظ في 25 فبراير 2021 على موقع Wayback Machine . معاملات معهد مهندسي الكهرباء والإلكترونيات في الصوتيات والكلام ومعالجة الإشارات."
  59. ^ Baker, J.; Li Deng; Glass, J.; Khudanpur, S.; Chin-Hui Lee ; Morgan, N.; O'Shaughnessy, D. (2009). "التطورات والاتجاهات في التعرف على الكلام وفهمه، الجزء الأول". مجلة معالجة الإشارات IEEE . 26 (3): 75–80. Bibcode :2009ISPM...26...75B. doi :10.1109/MSP.2009.932166. hdl : 1721.1/51891 . S2CID  357467.
  60. ^ Sepp Hochreiter (1991)، Unter suchungen zu dynamischen neuronalen Netzen أرشفة 6 مارس 2015 في آلة Wayback .، أطروحة الدبلوم. معهد ف. المعلوماتية، الجامعة التقنية. ميونيخ. المستشار: ج. شميدهوبر.
  61. ^ بينجيو، ي. (1991). الشبكات العصبية الاصطناعية وتطبيقاتها في التعرف على الكلام/التسلسل (أطروحة دكتوراه). جامعة ماكجيل.
  62. ^ Deng, L.; Hassanein, K.; Elmasry, M. (1994). "تحليل بنية الارتباط لنموذج تنبؤي عصبي مع تطبيق على التعرف على الكلام". الشبكات العصبية . 7 (2): 331-339. doi :10.1016/0893-6080(94)90027-2.
  63. ^ محاضرة رئيسية: التطورات الأخيرة في الشبكات العصبية العميقة. ICASSP، 2013 (بقلم جيف هينتون).
  64. ^ محاضرة رئيسية: "إنجازات وتحديات التعلم العميق: من تحليل الكلام والتعرف عليه إلى اللغة والمعالجة المتعددة الوسائط" أرشيف 5 مارس 2021 على موقع واي باك مشين ، " Interspeech، سبتمبر 2014 (بقلم لي دينج).
  65. ^ "زيادة تحسينات برامج التعرف على الصوت". TechRepublic.com . 27 أغسطس 2002. مؤرشف من الأصل في 23 أكتوبر 2018 . تم الاسترجاع 22 أكتوبر 2018 . قال مانرز إن شركة آي بي إم عملت على تطوير التعرف على الكلام ... أو على أرضية معرض تجاري صاخب.
  66. ^ "التعرف على الصوت لتسهيل حجوزات السفر: أخبار سفر الأعمال". BusinessTravelNews.com . 3 مارس 1997. مؤرشف من الأصل في 9 سبتمبر 2024 . تم الاسترجاع 9 سبتمبر 2024 . كانت أقدم تطبيقات برامج التعرف على الكلام هي الإملاء ... قبل أربعة أشهر، قدمت شركة IBM "منتج الإملاء المستمر" المصمم لـ ... ظهر لأول مرة في المعرض التجاري لجمعية سفر الأعمال الوطنية في عام 1994.
  67. ^ إليس بوكر (14 مارس 1994). "التعرف على الصوت يدخل التيار الرئيسي". عالم الكمبيوتر . ص 45. قبل بضع سنوات فقط، كان التعرف على الكلام يقتصر على ...
  68. ^ "باحثو مايكروسوفت يحققون إنجازًا جديدًا في التعرف على الكلام التحادثي". مايكروسوفت . 21 أغسطس 2017. مؤرشف من الأصل في 9 سبتمبر 2024. استرجاع 9 سبتمبر 2024 .
  69. ^ Goel, Vaibhava; Byrne, William J. (2000). "Minimum Bayes-risk automatic speech identify". Computer Speech & Language . 14 (2): 115–135. doi : 10.1006/csla.2000.0138 . S2CID  206561058. مؤرشف من الأصل في 25 يوليو 2011 . تم الاسترجاع في 28 مارس 2011 .
  70. ^ Mohri, M. (2002). "Edit-Distance of Weighted Automata: General Definitions and Algorithms" (PDF) . المجلة الدولية لأسس علوم الكمبيوتر . 14 (6): 957–982. doi :10.1142/S0129054103002114. مؤرشف من الأصل (PDF) في 18 مارس 2012. تم الاسترجاع في 28 مارس 2011 .
  71. ^ Waibel, A.; Hanazawa, T.; Hinton, G.; Shikano, K.; Lang, KJ (1989). "التعرف على الأصوات باستخدام الشبكات العصبية ذات التأخير الزمني". معاملات معهد مهندسي الكهرباء والإلكترونيات في الصوتيات والكلام ومعالجة الإشارات . 37 (3): 328–339. doi :10.1109/29.21701. hdl : 10338.dmlcz/135496 . S2CID  9563026.
  72. ^ Bird, Jordan J.; Wanner, Elizabeth; Ekart, Anikó; Faria, Diego R. (2020). "Optimisation of phonetic aware speech identify through multi-objective evolutionary algorithms" (PDF) . Expert Systems with Applications . 153. Elsevier BV: 113402. doi :10.1016/j.eswa.2020.113402. ISSN  0957-4174. S2CID  216472225. مؤرشف من الأصل (PDF) في 9 سبتمبر 2024. تم الاسترجاع في 9 سبتمبر 2024 .
  73. ^ وو، جيه؛ تشان، سي. (1993). "التعرف على الكلمات المعزولة بواسطة نماذج الشبكات العصبية مع معاملات الارتباط المتبادل لديناميكيات الكلام". معاملات معهد مهندسي الكهرباء والإلكترونيات في تحليل الأنماط والذكاء الاصطناعي . 15 (11): 1174-1185. doi :10.1109/34.244678.
  74. ^ SA Zahorian، وAM Zimmer، وF. Meng، (2002) "تصنيف الحروف المتحركة للتغذية الراجعة البصرية المستندة إلى الكمبيوتر لتدريب الكلام لضعاف السمع"، في ICSLP 2002
  75. ^ Hu, Hongbing; Zahorian, Stephen A. (2010). "Dimensionality Reduction Methods for HMM Phonetic Recognition" (PDF) . ICASSP 2010 . مؤرشف من الأصل (PDF) في 6 يوليو 2012.
  76. ^ فرنانديز، سانتياغو؛ جريفز، أليكس؛ شميدهوبر، يورجن (2007). "تصنيف التسلسل في المجالات المنظمة ذات الشبكات العصبية المتكررة الهرمية" (PDF) . وقائع IJCAI . مؤرشف من الأصل (PDF) في 15 أغسطس 2017.
  77. ^ جريفز، أليكس؛ محمد، عبد الرحمن؛ هينتون، جيفري (2013). "التعرف على الكلام باستخدام الشبكات العصبية المتكررة العميقة". arXiv : 1303.5778 [cs.NE].المؤتمر الدولي لعلوم الرياضة 2013.
  78. ^ Waibel, Alex (1989). "Modular Construction of Time-Delay Neural Networks for Speech Recognition" (PDF) . Neural Computation . 1 (1): 39–46. doi :10.1162/neco.1989.1.1.39. S2CID  236321. مؤرشف من الأصل (PDF) في 29 يونيو 2016.
  79. ^ ماس، أندرو إل.؛ لي، كووك ف.؛ أونيل، تايلر م.؛ فينيالس، أوريول؛ نجوين، باتريك؛ نج، أندرو واي. (2012). "الشبكات العصبية المتكررة لتقليل الضوضاء في التعرف التلقائي على الكلام القوي". وقائع مؤتمر إنترسبيتش 2012 .
  80. ^ ab Deng, Li; Yu, Dong (2014). "Deep Learning: Methods and Applications" (PDF) . Foundations and Trends in Signal Processing . 7 (3–4): 197–387. CiteSeerX 10.1.1.691.3679 . doi :10.1561/2000000039. مؤرشف من الأصل (PDF) في 22 أكتوبر 2014. 
  81. ^ Yu, D.; Deng, L.; Dahl, G. (2010). "أدوار التدريب المسبق والضبط الدقيق في نماذج DBN-HMM المعتمدة على السياق للتعرف على الكلام في العالم الحقيقي" (PDF) . ورشة عمل NIPS حول التعلم العميق والتعلم غير الخاضع للإشراف .
  82. ^ دال، جورج إي؛ يو، دونج؛ دينج، لي؛ أسيرو، أليكس (2012). "شبكات عصبية عميقة مدربة مسبقًا تعتمد على السياق للتعرف على الكلام ذي المفردات الكبيرة". معاملات معهد مهندسي الكهرباء والإلكترونيات في معالجة الصوت والكلام واللغة . 20 (1): 30-42. doi :10.1109/TASL.2011.2134090. S2CID  14862572.
  83. ^ Deng L., Li, J., Huang, J., Yao, K., Yu, D., Seide, F. et al. Recent Advances in Deep Learning for Speech Research at Microsoft Archived 9 September 2024 at the Wayback Machine . ICASSP, 2013.
  84. ^ ab Yu, D.; Deng, L. (2014). "التعرف التلقائي على الكلام: نهج التعلم العميق (الناشر: Springer)". {{cite journal}}: تتطلب المجلة الاستشهاد بها |journal=( مساعدة )
  85. ^ Deng, L.; Li, Xiao (2013). "Machine Learning Paradigms for Speech Recognition: An Overview" (PDF) . IEEE Transactions on Audio, Speech, and Language Processing . 21 (5): 1060–1089. doi :10.1109/TASL.2013.2244083. S2CID  16585863. مؤرشف من الأصل (PDF) في 9 سبتمبر 2024. تم الاسترجاع في 9 سبتمبر 2024 .
  86. ^ شميدهوبر، يورجن (2015). "التعلم العميق". سكولاربيديا . 10 (11): 32832. رمز Bibcode :2015SchpJ..1032832S. doi : 10.4249/scholarpedia.32832 .
  87. ^ L. Deng، M. Seltzer، D. Yu، A. Acero، A. Mohamed، و G. Hinton (2010) الترميز الثنائي للطيف الكلامي باستخدام مشفر تلقائي عميق. Interspeech.
  88. ^ Tüske, Zoltán; Golik, Pavel; Schlüter, Ralf; Ney, Hermann (2014). "Acoustic Modeling with Deep Neural Networks Using Raw Time Signal for LVCSR" (PDF) . Interspeech 2014. مؤرشف من الأصل (PDF) في 21 ديسمبر 2016.
  89. ^ جورافسكي، دانييل (2016). معالجة الكلام واللغة .
  90. ^ جريفز، أليكس (2014). "نحو التعرف على الكلام من البداية إلى النهاية باستخدام الشبكات العصبية المتكررة" (PDF) . ICML . مؤرشف من الأصل (PDF) في 10 يناير 2017. تم الاسترجاع 22 يوليو 2019 .
  91. ^ أمودي، داريو (2016). "الكلام العميق 2: التعرف على الكلام من البداية إلى النهاية باللغتين الإنجليزية والمندرينية". arXiv : 1512.02595 [cs.CL].
  92. ^ "LipNet: ما مدى سهولة قراءة الشفاه في رأيك؟". YouTube . 4 نوفمبر 2016. مؤرشف من الأصل في 27 أبريل 2017. تم الاسترجاع 5 مايو 2017 .
  93. ^ Assael, Yannis; Shillingford, Brendan; Whiteson, Shimon; de Freitas, Nando (5 نوفمبر 2016). "LipNet: قراءة الشفاه على مستوى الجملة من البداية إلى النهاية". arXiv : 1611.01599 [cs.CV].
  94. ^ شيلينجفورد ، بريندان. عسيل، يانيس؛ هوفمان، ماثيو دبليو. باين، توماس. هيوز، سيان. برابهو، أوتساف؛ لياو، هانك؛ ساك، هاشم؛ راو، كانيشكا (13 يوليو 2018). “التعرف على الكلام المرئي على نطاق واسع”. أرخايف : 1807.05162 [cs.CV].
  95. ^ لي، جيسون؛ لافروخين، فيتالي؛ جينسبيرج، بوريس؛ ليري، ريان؛ كوخاييف، أوليكسي؛ كوهين، جوناثان م؛ نجوين، هوين؛ جاد، رافي تيجا (2019). "جاسبر: نموذج صوتي عصبي ملتف من البداية إلى النهاية". إنترسبيتش 2019. ص 71-75. arXiv : 1904.03288 . doi : 10.21437/Interspeech.2019-1819.
  96. ^ كريمان، صموئيل؛ بيليايف، ستانيسلاف؛ جينسبيرج، بوريس؛ هوانج، جوسلين؛ كوخاييف، أوليكسي؛ لافروخين، فيتالي؛ ليري، ريان؛ لي، جيسون؛ تشانغ، يانغ (22 أكتوبر 2019)، QuartzNet: التعرف التلقائي العميق على الكلام باستخدام التفافات قابلة للفصل عبر قناة زمنية أحادية الأبعاد ، arXiv : 1910.10261
  97. ^ ميديروس ، إدواردو. كورادو، ليونيل؛ راتو، لويس. كواريزما، باولو؛ سالغويرو ، بيدرو (مايو 2023). “تحويل الكلام إلى نص للتكيف مع المجال للغة البرتغالية الأوروبية منخفضة الموارد باستخدام التعلم العميق”. إنترنت المستقبل . 15 (5): 159. دوى : 10.3390/fi15050159 . ISSN  1999-5903.
  98. ^ جوشي، رافيراج؛ سينغ، أنوبام (مايو 2022). مالمسي، شيرفين؛ روكلينكو، أوليج؛ إيفينج، نيكولا؛ جاي، إيدو؛ أجشتاين، يوجين؛ كالومادي، سوريا (المحررون). "خط أساس بسيط للتكيف مع المجال في أنظمة التعرف التلقائي على الكلام من البداية إلى النهاية باستخدام البيانات الاصطناعية". وقائع ورشة العمل الخامسة حول التجارة الإلكترونية ومعالجة اللغة الطبيعية (ECNLP 5) . دبلن، أيرلندا: جمعية اللغويات الحاسوبية: 244-249. arXiv : 2206.13240 . doi : 10.18653/v1/2022.ecnlp-1.28.
  99. ^ Sukhadia, Vrunda N.; Umesh, S. (9 January 2023). "Domain Adaptation of Low-Resource Target-Domain Models Using Well-Trained ASR Conformer Models". 2022 IEEE Spoken Language Technology Workshop (SLT) . IEEE. ص. 295-301. arXiv : 2202.09167 . doi :10.1109/SLT54892.2023.10023233. ISBN 979-8-3503-9690-4.
  100. ^ تشان، ويليام؛ جيتلي، نافديب؛ لي، كووك؛ فينيالس، أوريول (2016). "استمع، انتبه وتهجئ: شبكة عصبية للتعرف على الكلام التحادثي ذي المفردات الكبيرة" (PDF) . ICASSP . مؤرشف من الأصل (PDF) في 9 سبتمبر 2024. تم الاسترجاع في 9 سبتمبر 2024 .
  101. ^ باهداناو، دميتري (2016). "التعرف على الكلام من البداية إلى النهاية على أساس الانتباه للمفردات الكبيرة". arXiv : 1508.04395 [cs.CL].
  102. ^ Chorowski, Jan; Jaitly, Navdeep (8 ديسمبر 2016). "نحو فك تشفير أفضل وتكامل نموذج اللغة في نماذج التسلسل إلى التسلسل". arXiv : 1612.02695 [cs.NE].
  103. ^ تشان ، ويليام. تشانغ، يو؛ لو كووك؛ جايتلي ، نافديب (2016-10-10). “تحليلات التسلسل الكامن”. أرخايف : 1610.03035 [stat.ML].
  104. ^ تشونغ، جون سون؛ سينيور، أندرو؛ فينيالز، أوريول؛ زيسرمان، أندرو (16 نوفمبر 2016). "قراءة الجمل من خلال الشفاه في البرية". مؤتمر معهد مهندسي الكهرباء والإلكترونيات لعام 2017 حول الرؤية الحاسوبية والتعرف على الأنماط (CVPR) . ص. 3444-3453. arXiv : 1611.05358 . doi :10.1109/CVPR.2017.367. ISBN 978-1-5386-0457-1. S2CID  1662180.
  105. ^ الخير، ياسين؛ وآخرون (21 أكتوبر 2023)، تقييم النطق الآلي - مراجعة ، مؤتمر حول الأساليب التجريبية في معالجة اللغة الطبيعية، arXiv : 2310.13974 ، S2CID  264426545
  106. ^ إسحاق، تاليا؛ هاردينج، لوك (يوليو 2017). "تقييم النطق". تدريس اللغة . 50 (3): 347-366. doi : 10.1017/S0261444817000118 . ISSN  0261-4448. S2CID  209353525.
  107. ^ لوكينا، أناستازيا؛ وآخرون. (6 سبتمبر 2015)، "دقة النطق ووضوح الكلام غير الأصلي" (PDF) ، INTERSPEECH 2015 ، دريسدن، ألمانيا: رابطة الاتصالات الصوتية الدولية ، ص. 1917-1921، مؤرشف (PDF) من الأصل في 9 سبتمبر 2024 ، تم استرجاعه في 9 سبتمبر 2024 ، يمكن تفسير 16% فقط من التباين في وضوح مستوى الكلمة من خلال وجود أخطاء نطق واضحة.
  108. ^ O'Brien, Mary Grantham; et al. (31 December 2018). "Directions for the future of technology in pronunciation research and teaching". Journal of Second Language Pronunciation . 4 (2): 182–207. doi : 10.1075/jslp.17001.obr . hdl : 2066/199273 . ISSN  2215-1931. S2CID  86440885. يهتم باحثو النطق في المقام الأول بتحسين قابلية فهم ووضوح متعلمي اللغة الثانية، لكنهم لم يجمعوا بعد كميات كافية من البيانات التمثيلية والموثوقة (تسجيلات الكلام مع التعليقات والأحكام المقابلة) التي تشير إلى الأخطاء التي تؤثر على أبعاد الكلام هذه والتي لا تؤثر عليها. هذه البيانات ضرورية لتدريب خوارزميات التعرف على الكلام لتقييم قابلية فهم متعلمي اللغة الثانية.
  109. ^ Eskenazi, Maxine (January 1999). "استخدام معالجة الكلام التلقائية لتعليم نطق اللغة الأجنبية: بعض القضايا والنموذج الأولي". تعلم اللغة والتكنولوجيا . 2 (2): 62–76. مؤرشف من الأصل في 9 سبتمبر 2024. تم الاسترجاع في 11 فبراير 2023 .
  110. ^ ثولفسن، مايك (9 فبراير 2023). "مدرب القراءة في Immersive Reader بالإضافة إلى ميزات جديدة قادمة إلى Reading Progress في Microsoft Teams". مدونة Techcommunity Education . Microsoft. مؤرشف من الأصل في 9 سبتمبر 2024 . تم الاسترجاع في 12 فبراير 2023 .
  111. ^ بانيرجي، أولينا (7 مارس 2023). "المدارس تستخدم تقنية الصوت لتدريس القراءة. هل هذا مفيد؟". EdSurge News . مؤرشف من الأصل في 9 سبتمبر 2024 . تم الاسترجاع في 7 مارس 2023 .
  112. ^ هير، آدم؛ وآخرون (19 يونيو 2018). "عالم أبراكسيا: لعبة علاج النطق للأطفال الذين يعانون من اضطرابات في أصوات الكلام". وقائع المؤتمر السابع عشر للرابطة الأمريكية للحاسبات الآلية حول تصميم التفاعل والأطفال (PDF) . ص 119-131. doi :10.1145/3202185.3202733. ISBN 9781450351522. S2CID  13790002. مؤرشف من الأصل (PDF) في 9 سبتمبر 2024. تم الاسترجاع 9 سبتمبر 2024 .
  113. ^ "الكمبيوتر يقول لا: طبيب بيطري أيرلندي يفشل في اجتياز اختبار اللغة الإنجليزية الشفوي اللازم للبقاء في أستراليا". الغارديان . وكالة الأنباء الأسترالية. 8 أغسطس 2017. مؤرشف من الأصل في 9 سبتمبر 2024. تم الاسترجاع 12 فبراير 2023 .
  114. ^ فيرير، تريسي (9 أغسطس 2017). "قارئ أخبار أسترالي سابق حاصل على شهادة في اللغة الإنجليزية يفشل في اجتياز اختبار اللغة الإنجليزية للروبوت". صحيفة سيدني مورنينج هيرالد . مؤرشف من الأصل في 9 سبتمبر 2024. تم الاسترجاع 12 فبراير 2023 .
  115. ^ ماين، إد؛ واتسون، ريتشارد (9 فبراير 2022). "اختبار اللغة الإنجليزية الذي دمر حياة الآلاف". بي بي سي نيوز . مؤرشف من الأصل في 9 سبتمبر 2024. تم الاسترجاع 12 فبراير 2023 .
  116. ^ Joyce, Katy Spratte (24 January 2023). "13 Words That Can Be Pronounced Two Ways". Reader's Digest. مؤرشف من الأصل في 9 سبتمبر 2024. تم الاسترجاع في 23 فبراير 2023 .
  117. ^ على سبيل المثال، CMUDICT ، "قاموس النطق لـ CMU". www.speech.cs.cmu.edu . مؤرشف من الأصل في 15 أغسطس 2010. تم الاسترجاع في 15 فبراير 2023 .قارن "أربعة" المعطاة "F AO R" مع حرف العلة AO كما في "caught"، مع "row" المعطاة "R OW" مع حرف العلة OW كما في "oat".
  118. ^ تو، زهاي؛ ما، نينج؛ باركر، جون (2022). "مقاييس عدم اليقين غير الخاضعة للإشراف للتعرف التلقائي على الكلام للتنبؤ بفهم الكلام غير التدخلي" (PDF) . وقائع Interspeech 2022. INTERSPEECH 2022. ISCA. ص. 3493-3497. doi :10.21437/Interspeech.2022-10408. مؤرشف من الأصل (PDF) في 9 سبتمبر 2024. تم الاسترجاع في 17 ديسمبر 2023 .
  119. ^ الإطار الأوروبي المرجعي المشترك لتعلم اللغات وتدريسها وتقييمها: مجلد مصاحب مع أوصاف جديدة. برنامج سياسة اللغة، قسم سياسة التعليم، إدارة التعليم، مجلس أوروبا . فبراير 2018. ص. 136. OCLC  1090351600. مؤرشف من الأصل في 9 سبتمبر 2024. تم الاسترجاع في 9 سبتمبر 2024 .
  120. ^ إنجلوند، كريستين (2004). التعرف على الكلام في طائرة JAS 39 Gripen: التكيف مع الكلام عند أحمال جي مختلفة (PDF) (أطروحة ماجستير). معهد ستوكهولم الملكي للتكنولوجيا . مؤرشف من الأصل (PDF) في 2 أكتوبر 2008.
  121. ^ "مقصورة القيادة". يوروفايتر تايفون . مؤرشف من الأصل في 1 مارس 2017.
  122. ^ "يوروفايتر تايفون – الطائرة المقاتلة الأكثر تقدمًا في العالم". www.eurofighter.com . مؤرشف من الأصل في 11 مايو 2013 . تم الاسترجاع 1 مايو 2018 .
  123. ^ شوت، جون (15 أكتوبر 2007). "باحثون يضبطون نظام الكلام للطيارين في طائرة إف-35". القوات الجوية الأمريكية. مؤرشف من الأصل في 20 أكتوبر 2007.
  124. ^ "التغلب على حواجز التواصل في الفصل الدراسي". MassMATCH. 18 مارس 2010. مؤرشف من الأصل في 25 يوليو 2013. تم الاسترجاع 15 يونيو 2013 .
  125. ^ "التعرف على الكلام من أجل التعلم". المركز الوطني للابتكار التكنولوجي. 2010. مؤرشف من الأصل في 13 أبريل 2014. تم الاسترجاع 26 مارس 2014 .
  126. ^ Follensbee, Bob; McCloskey-Dale, Susan (2000). "التعرف على الكلام في المدارس: تحديث من الميدان". مؤتمر التكنولوجيا والأشخاص ذوي الإعاقة 2000. مؤرشف من الأصل في 21 أغسطس 2006. تم الاسترجاع في 26 مارس 2014 .
  127. ^ "التعرف على الكلام للأشخاص ذوي الإعاقة". مؤرشف من الأصل في 4 أبريل 2008.
  128. ^ مجموعة دعم الأصدقاء الدولية
  129. ^ جاريت، جينيفر توملين؛ وآخرون (2011). "استخدام برامج التعرف على الكلام لزيادة طلاقة الكتابة للأفراد ذوي الإعاقات الجسدية". مجلة تكنولوجيا التعليم الخاص . 26 (1): 25-41. doi :10.1177/016264341102600104. S2CID  142730664. مؤرشف من الأصل في 9 سبتمبر 2024. تم الاسترجاع في 9 سبتمبر 2024 .
  130. ^ فورجريف، كارين إي. "التكنولوجيا المساعدة: تمكين الطلاب ذوي الإعاقة". مجلة كليرينج هاوس 75.3 (2002): 122-126. شبكة الإنترنت.
  131. ^ تانغ، كيه دبليو؛ كاموا، رضا؛ سوتان، فيكتور (2004). "تكنولوجيا التعرف على الكلام لتعليم ذوي الإعاقات". مجلة أنظمة التكنولوجيا التعليمية . 33 (2): 173-84. CiteSeerX 10.1.1.631.3736 . doi :10.2190/K6K8-78K2-59Y7-R9R2. S2CID  143159997. 
  132. ^ "مشاريع: الميكروفونات الكوكبية". الجمعية الكوكبية. مؤرشف من الأصل في 27 يناير 2012.
  133. ^ كاريداكيس، جورج؛ كاستيلانو، جينيفرا؛ كيسوس، لويك؛ راوزايو، أمارلس؛ مالاتيستا، لوري؛ أسترياديس، ستيليوس؛ كاربوزيس، كوستاس (19 سبتمبر 2007). "التعرف على المشاعر متعدد الوسائط من الوجوه المعبرة وإيماءات الجسم والكلام". الذكاء الاصطناعي والابتكارات 2007: من النظرية إلى التطبيقات . الاتحاد الدولي لمعالجة المعلومات. المجلد 247. سبرينغر الولايات المتحدة. ص 375-388. doi :10.1007/978-0-387-74161-1_41. ISBN 978-0-387-74160-4.
  134. ^ "ما هي الترجمة الفورية؟ | DO-IT". www.washington.edu . مؤرشف من الأصل في 9 سبتمبر 2024 . تم الاسترجاع في 11 أبريل 2021 .
  135. ^ تشنغ، توماس فانغ؛ لي، لانتيان (2017). القضايا المتعلقة بالمتانة في التعرف على المتحدث. SpringerBriefs in Electrical and Computer Engineering. سنغافورة: Springer Singapore. doi :10.1007/978-981-10-3238-7. ISBN 978-981-10-3237-0. مؤرشف من الأصل في 9 سبتمبر 2024 . استرجاع 9 سبتمبر 2024 .
  136. ^ سيراميلا، ألبرتو. "تقرير تقييم الأداء النموذجي". حزمة عمل Sundial 8000 (1993).
  137. ^ Gerbino, E.; Baggia, P.; Ciaramella, A.; Rullent, C. (1993). "Test and evaluation of a spoke dialogue system". المؤتمر الدولي لمعهد مهندسي الكهرباء والإلكترونيات حول الصوتيات ومعالجة الكلام والإشارات . ص. 135–138 المجلد 2. doi :10.1109/ICASSP.1993.319250. ISBN 0-7803-0946-4. S2CID  57374050.
  138. ^ المعهد الوطني للمعايير والتكنولوجيا. "تاريخ تقييم التعرف التلقائي على الكلام في المعهد الوطني للمعايير والتكنولوجيا، أرشيف 8 أكتوبر 2013 على موقع واي باك مشين ".
  139. ^ "أسماء الحروف قد تسبب ارتباكًا وأشياء أخرى يجب معرفتها حول العلاقات بين الحروف والأصوات". NAEYC . مؤرشف من الأصل في 9 سبتمبر 2024. تم الاسترجاع في 27 أكتوبر 2023 .
  140. ^ "استمع: مساعدك الذكي يجن جنونه بسبب NPR أيضًا". NPR . 6 مارس 2016. مؤرشف من الأصل في 23 يوليو 2017.
  141. ^ Claburn, Thomas (25 August 2017). "هل من الممكن التحكم في Amazon Alexa وGoogle Now باستخدام أوامر غير مسموعة؟ بالتأكيد". The Register . مؤرشف من الأصل في 2 سبتمبر 2017.
  142. ^ "هجوم يستهدف أنظمة التعرف التلقائي على الكلام". vice.com . 31 يناير 2018. مؤرشف من الأصل في 3 مارس 2018. تم الاسترجاع 1 مايو 2018 .
  143. ^ بيجي، هومايون (2011). أساسيات التعرف على المتحدث. نيويورك: سبرينغر. رقم ISBN 978-0-387-77591-3. تم أرشفة النسخة الأصلية في 31 يناير 2018.
  144. ^ Povey, D., Ghoshal, A., Boulianne, G., Burget, L., Glembek, O., Goel, N., ... & Vesely, K. (2011). مجموعة أدوات التعرف على الكلام Kaldi. في ورشة عمل IEEE 2011 حول التعرف التلقائي على الكلام وفهمه (رقم CONF). جمعية معالجة الإشارات IEEE.
  145. ^ "Common Voice by Mozilla". voice.mozilla.org . مؤرشف من الأصل في 27 فبراير 2020 . تم الاسترجاع 9 نوفمبر 2019 .
  146. ^ "تطبيق TensorFlow لهندسة DeepSpeech في Baidu: mozilla/DeepSpeech". 9 نوفمبر 2019. مؤرشف من الأصل في 9 سبتمبر 2024. تم الاسترجاع في 9 سبتمبر 2024 – عبر GitHub.
  147. ^ "GitHub - tensorflow/docs: TensorFlow documentation". 9 نوفمبر 2019. مؤرشف من الأصل في 9 سبتمبر 2024. تم الاسترجاع 9 سبتمبر 2024 – عبر GitHub.
  148. ^ "Coqui, a startup providing open speech tech for everyone". GitHub . مؤرشف من الأصل في 9 سبتمبر 2024 . تم الاسترجاع في 7 مارس 2022 .
  149. ^ كوفي، دونافين (28 أبريل 2021). "الماوري يحاولون إنقاذ لغتهم من شركات التكنولوجيا الكبرى". Wired UK . ISSN  1357-0978. مؤرشف من الأصل في 9 سبتمبر 2024. تم الاسترجاع في 16 أكتوبر 2021 .
  150. ^ "لماذا يجب عليك الانتقال من DeepSpeech إلى coqui.ai". Mozilla Discourse . 7 يوليو 2021 . تم الاسترجاع في 16 أكتوبر 2021 .
  151. ^ "اكتب بصوتك". مؤرشف من الأصل في 9 سبتمبر 2024 . اطلع عليه بتاريخ 9 سبتمبر 2024 .

قراءة إضافية

  • كول، رونالد. مارياني, جوزيف ; أوسزكوريت، هانز؛ فاريل، جيوفاني باتيستا؛ زينن، آني؛ زامبولي. زوي، فيكتور، محرران. (1997). مسح لحالة الفن في تكنولوجيا اللغة البشرية . دراسات كامبريدج في معالجة اللغات الطبيعية. المجلد. الثاني عشر إلى الثالث عشر. مطبعة جامعة كامبريدج. رقم ISBN 978-0-521-59277-2.
  • Junqua, J.-C.; Haton, J.-P. (1995). Robustness in Automatic Speech Recognition: Fundamentals and Applications . Kluwer Academic Publishers. ISBN 978-0-7923-9646-8.
  • كارات، كلير ماري؛ فيرجو، جون؛ ناهامو، ديفيد (2007). "تقنيات الواجهة التحادثية". في سيرز، أندرو ؛ جاكو، جولي أ. (المحررون). دليل التفاعل بين الإنسان والحاسوب: الأساسيات، والتقنيات المتطورة، والتطبيقات الناشئة (العوامل البشرية وبيئة العمل) . لورانس إيرلباوم أسوشيتس إنك. رقم ISBN 978-0-8058-5870-9.
  • بيراتشيني، روبرتو (2012). الصوت في الآلة. بناء أجهزة كمبيوتر تفهم الكلام . مطبعة معهد ماساتشوستس للتكنولوجيا. رقم ISBN 978-0262016858.
  • بيراني، جيانكارلو، محرر (2013). خوارزميات وهندسة معمارية متقدمة لفهم الكلام . سبرينغر ساينس آند بيزنس ميديا. رقم ISBN 978-3-642-84341-9.
  • سيجنر، بيت؛ هوستي، لود (ديسمبر 2013). "SpeeG2: واجهة تعتمد على الكلام والإيماءات لإدخال نص فعال بدون وحدة تحكم". وقائع مؤتمر ICMI 2013. المؤتمر الدولي الخامس عشر للتفاعل المتعدد الوسائط. سيدني، أستراليا.
  • ولفيل، ماتياس؛ ماكدونوغ، جون (26 مايو 2009). التعرف على الكلام عن بعد . وايلي. رقم ISBN 978-0470517048.
تم الاسترجاع من "https://en.wikipedia.org/w/index.php?title=التعرف_على_الكلام&oldid=1261567243"
Original text
Rate this translation
Your feedback will be used to help improve Google Translate