استخراج الصوت

الموسوعة الحرة

التنقيب الصوتي هو تقنية تُستخدم لتحليل محتوى الإشارة الصوتية والبحث فيه تلقائيًا. ويُستخدم هذا الأسلوب بكثرة في مجال التعرف التلقائي على الكلام ، حيث يسعى التحليل إلى تحديد أي كلام داخل الملف الصوتي. يُستخدم مصطلح التنقيب الصوتي أحيانًا كمرادف لمصطلحات أخرى مثل فهرسة الصوت، والبحث الصوتي، وفهرسة الكلام، وتحليل الصوت، وتحليل الكلام، وتحديد الكلمات، واسترجاع المعلومات . مع ذلك، تُستخدم فهرسة الصوت في الغالب لوصف المرحلة التمهيدية للتنقيب الصوتي، حيث يتم تقسيم الملف الصوتي إلى فهرس كلمات قابل للبحث.

تاريخ

بدأ البحث الأكاديمي في مجال استخراج البيانات الصوتية في أواخر سبعينيات القرن الماضي في جامعات مثل جامعة كارنيجي ميلون، وجامعة كولومبيا، ومعهد جورجيا للتكنولوجيا، وجامعة تكساس. [ 1 ] وبدأ فهرسة البيانات الصوتية واسترجاعها يحظى بالاهتمام والطلب في أوائل تسعينيات القرن الماضي، مع تطور محتوى الوسائط المتعددة والزيادة الكبيرة في حجم المحتوى الصوتي. [ 2 ] وقبل أن يصبح استخراج البيانات الصوتية الأسلوب السائد، كانت تُكتب نصوص مكتوبة للمحتوى الصوتي وتُحلل يدويًا. [ 3 ]

عملية

ينقسم استخراج البيانات الصوتية عادةً إلى أربعة مكونات: فهرسة الصوت، ومعالجة الكلام وأنظمة التعرف عليه، واستخراج الميزات، وتصنيف الصوت. [ 4 ] تتم معالجة الصوت عادةً بواسطة نظام التعرف على الكلام لتحديد الكلمات أو الوحدات الصوتية التي يُحتمل ظهورها في المحتوى المنطوق. يمكن استخدام هذه المعلومات مباشرةً في عمليات بحث مُحددة مسبقًا عن الكلمات المفتاحية أو العبارات (نظام "تحديد الكلمات" في الوقت الفعلي)، أو يمكن تخزين مُخرجات مُعرّف الكلام في ملف فهرس. يمكن بعد ذلك تحميل ملف فهرس واحد أو أكثر من ملفات استخراج البيانات الصوتية لاحقًا لإجراء عمليات بحث عن الكلمات المفتاحية أو العبارات. عادةً ما تكون نتائج البحث على شكل "تطابقات"، وهي مناطق داخل الملفات تُطابق الكلمات المفتاحية المُختارة بشكل جيد. يمكن للمستخدم بعد ذلك الاستماع إلى الصوت المُطابق لهذه التطابقات للتحقق من صحة التطابق.

فهرسة الصوت

في مجال الصوت، تكمن المشكلة الرئيسية في استرجاع المعلومات، إذ يتطلب الأمر تحديد مواقع الملفات النصية التي تحتوي على مفتاح البحث. على عكس البشر، لا يستطيع الحاسوب التمييز بين أنواع الصوت المختلفة، كالسرعة، والمزاج، والضوضاء، والموسيقى، أو الكلام البشري، لذا تبرز الحاجة إلى طريقة بحث فعّالة. ومن هنا، تتيح فهرسة الصوت البحث بكفاءة عن المعلومات من خلال تحليل الملف بأكمله باستخدام تقنية التعرف على الكلام. بعد ذلك، يتم إنشاء فهرس للمحتوى، يتضمن الكلمات ومواقعها، وذلك من خلال استرجاع الصوت القائم على المحتوى، مع التركيز على خصائص الصوت المستخرجة.

يتم ذلك بشكل رئيسي من خلال طريقتين: التعرف على الكلام المستمر ذي المفردات الكبيرة (LVCSR) والفهرسة القائمة على الصوتيات.

أجهزة التعرف على الكلام المستمر ذات المفردات الكبيرة (LVCSR)

في فهرسة النصوص أو التعرف على الكلام المتواصل ذي المفردات الكبيرة (LVCSR)، يُقسّم الملف الصوتي أولًا إلى وحدات صوتية قابلة للتمييز. ثم يُمرّر عبر قاموس قد يحتوي على مئات الآلاف من المدخلات، ويُطابق مع الكلمات والعبارات لإنتاج نص كامل. بعد ذلك، يمكن للمستخدم البحث ببساطة عن مصطلح معين، وسيُعرض الجزء ذي الصلة من المحتوى الصوتي. إذا لم يُعثر على النص أو الكلمة في القاموس، سيختار النظام المدخل الأقرب تشابهًا. يستخدم النظام نموذجًا لفهم اللغة لتحديد مستوى الثقة في نتائج المطابقة. إذا كان مستوى الثقة أقل من 100%، سيعرض النظام جميع نتائج المطابقة. [ 5 ]

المزايا والعيوب

تتمثل الميزة الرئيسية لتقنية التعرف الصوتي المرئي (LVCSR) في دقتها العالية وسرعة البحث الفائقة. في هذه التقنية، تُستخدم الأساليب الإحصائية للتنبؤ باحتمالية تسلسل الكلمات المختلفة، مما يجعل دقتها أعلى بكثير من البحث الصوتي عن كلمة واحدة. فإذا تم العثور على الكلمة، تكون احتمالية نطقها عالية جدًا. [ 6 ] في حين أن المعالجة الأولية للصوت تستغرق وقتًا لا بأس به، إلا أن البحث سريع، إذ يكفي إجراء اختبار بسيط لمطابقة النص.

من ناحية أخرى، فإن تقنية التعرف على الكلام باستخدام الفيديو (LVCSR) عرضة لمشاكل شائعة في التعرف على الكلام . فالطبيعة العشوائية المتأصلة في الصوت ومشاكل الضوضاء الخارجية تؤثر جميعها على دقة الفهرسة النصية.

من المشاكل الأخرى التي تواجه أنظمة التعرف على الكلام باستخدام المفردات (LVCSR) اعتمادها المفرط على قاعدة بيانات القواميس. إذ لا تتعرف هذه الأنظمة إلا على الكلمات الموجودة في قواعد بياناتها، وهذه القواميس وقواعد البيانات عاجزة عن مواكبة التطور المستمر للمصطلحات والأسماء والكلمات الجديدة. فإذا لم تكن الكلمة موجودة في القاموس، فلا سبيل للنظام للتعرف عليها أو التنبؤ بها، مما يقلل من دقة النظام وموثوقيته. تُعرف هذه المشكلة بمشكلة الكلمات غير الموجودة في المفردات (OOV). تحاول أنظمة استخراج البيانات الصوتية معالجة هذه المشكلة من خلال التحديث المستمر للقاموس ونموذج اللغة المستخدم، إلا أن المشكلة لا تزال قائمة، مما دفع إلى البحث عن بدائل. [ 7 ]

بالإضافة إلى ذلك، ونظرًا للحاجة إلى تحديث وصيانة المعرفة القائمة على المهام وقواعد بيانات التدريب الضخمة باستمرار لمعالجة مشكلة الكلمات غير الموجودة في القاموس، تُتكبّد تكاليف حسابية عالية. وهذا ما يجعل تقنية التعرف على الكلام باستخدام الفيديو منخفض التردد (LVCSR) نهجًا مكلفًا لاستخراج البيانات الصوتية.

الفهرسة الصوتية

يُقسّم الفهرسة الصوتية الملف الصوتي إلى وحدات صوتية قابلة للتمييز، ولكن بدلاً من تحويلها إلى فهرس نصي، تُحفظ كما هي وتُحلل لإنشاء فهرس صوتي. يمكن تقسيم عملية الفهرسة الصوتية إلى مرحلتين. المرحلة الأولى هي الفهرسة، وتبدأ بتحويل الوسائط المدخلة إلى تنسيق تمثيل صوتي قياسي ( PCM ). ثم يُطبق نموذج صوتي على الكلام. يُمثل هذا النموذج الصوتي خصائص كل من القناة الصوتية (البيئة التي نُطق فيها الكلام والمحول الذي سُجل من خلاله) واللغة الطبيعية (التي عبّر بها البشر عن الكلام المدخل). ينتج عن ذلك مسار بحث صوتي مُطابق، أو مسار صوتي صوتي (PAT)، وهو تمثيل مُضغوط للغاية للمحتوى الصوتي للوسائط المدخلة. المرحلة الثانية هي البحث، حيث يُحلل مصطلح بحث المستخدم إلى سلسلة صوتية مُحتملة باستخدام قاموس صوتي. بعد ذلك، يمكن مسح ملفات PAT المتعددة بسرعة عالية خلال عملية بحث واحدة عن تسلسلات صوتية محتملة تتطابق بشكل وثيق مع سلاسل الصوتيات المقابلة في مصطلح الاستعلام. [ 8 ] [ 9 ]

المزايا والعيوب

يُعدّ الفهرسة الصوتية جذابة للغاية لأنها لا تتأثر إلى حد كبير بالمشاكل اللغوية مثل الكلمات غير المُعترف بها والأخطاء الإملائية. تحافظ المعالجة الصوتية المسبقة على مفردات مفتوحة لا تتطلب تحديثًا. وهذا ما يجعلها مفيدة بشكل خاص للبحث عن المصطلحات المتخصصة أو الكلمات في اللغات الأجنبية التي لا تظهر عادةً في القواميس. كما أنها أكثر فعالية في البحث عن الملفات الصوتية ذات الضوضاء الخلفية المزعجة و/أو النطق غير الواضح، حيث يمكنها تجميع النتائج بناءً على الأصوات التي تستطيع تمييزها، وإذا رغب المستخدم، يمكنه البحث بين الخيارات حتى يعثر على العنصر المطلوب. [ 10 ]

علاوة على ذلك، وعلى عكس نظام التعرف على الكلام الصوتي ذي النطاق الترددي المنخفض (LVCSR)، يمكنه معالجة الملفات الصوتية بسرعة كبيرة نظرًا لقلة الأصوات الفريدة بين اللغات. مع ذلك، لا يمكن فهرسة الأصوات بكفاءة كما هو الحال مع الكلمات الكاملة، مما يجعل البحث في نظام يعتمد على الصوتيات بطيئًا. [ 11 ]

من عيوب الفهرسة الصوتية انخفاض دقتها. إذ تُسفر عمليات البحث القائمة على الصوتيات عن نتائج خاطئة أكثر من الفهرسة النصية. ويبرز هذا الأمر بشكل خاص مع مصطلحات البحث القصيرة، التي يرجح أن يكون نطقها مشابهاً لكلمات أخرى أو أن تكون جزءاً من كلمات أطول. وقد تُعيد أيضاً نتائج غير ذات صلة من لغات أخرى. ما لم يتعرف النظام على الكلمة كاملةً بدقة، أو يفهم التسلسلات الصوتية للغات، يصعب على الفهرسة الصوتية تقديم نتائج دقيقة. [ 12 ]

نظام معالجة الكلام والتعرف عليه

يُعتبر التعرف على الكلام المكون الأكثر أهمية وتعقيدًا في استخراج البيانات الصوتية، ويتطلب معرفة نظام إنتاج الكلام البشري ونمذجته.

ولمحاكاة نظام إنتاج الكلام البشري، تم تطوير نظام إنتاج الكلام الكهربائي ليتكون من:

  • توليد الكلام
  • إدراك الكلام
  • الكلام المجهور وغير المجهور
  • نموذج الكلام البشري

يقوم نظام إنتاج الكلام الإلكتروني بتحويل الإشارة الصوتية إلى تمثيل مطابق للكلام المنطوق من خلال النماذج الصوتية في برمجياته، حيث تُمثَّل جميع الأصوات اللغوية. ويساعد نموذج لغوي إحصائي في هذه العملية من خلال تحديد احتمالية تتابع الكلمات في لغات معينة. وبالاقتران مع تحليل احتمالي معقد، يصبح نظام التعرف على الكلام قادرًا على أخذ إشارة كلامية غير معروفة وتحويلها إلى كلمات بناءً على قاموس البرنامج. [ 13 ] [ 14 ]

يتضمن نظام التعرف التلقائي على الكلام (ASR) ما يلي:

  • التحليل الصوتي : يتم تحويل شكل الموجة الصوتية المدخلة إلى ميزة
  • النموذج الصوتي : يُحدد العلاقة بين إشارة الكلام والصوتيات، ونموذج النطق، ونموذج اللغة. تُطبق خوارزميات التدريب على قاعدة بيانات الكلام لإنشاء تمثيل إحصائي لكل صوت، وبالتالي توليد نموذج صوتي بمجموعة من الصوتيات ومقاييس احتمالية كل منها.
  • نموذج النطق : يتم ربط الأصوات اللغوية بكلمات محددة
  • نموذج اللغة : تُنظَّم الكلمات لتكوين جمل ذات معنى

تتضمن بعض تطبيقات معالجة الكلام التعرف على الكلام، وتشفير الكلام ، والتحقق من هوية المتحدث، وتحسين الكلام، وتوليف الكلام .

استخلاص الميزات

يُعدّ استخراج الميزات شرطاً أساسياً لعملية التعرف على الكلام بأكملها، ويجب أولاً تحديد هذه العملية داخل النظام. كما يجب معالجة الملفات الصوتية من البداية إلى النهاية، لضمان عدم فقدان أي معلومات مهمة.

من خلال التمييز بين مصادر الصوت من خلال درجة الصوت، وخصائص النبرة، والخصائص الإيقاعية، وعدم التناغم، والارتباط الذاتي، وغيرها من الخصائص بناءً على قابلية التنبؤ بالإشارة، والنمط الإحصائي، والخصائص الديناميكية.

يتم تنظيم فرض التوحيد القياسي في استخراج الميزات من خلال ميزات معيار MPEG-7 الدولي ، حيث يتم تحديد ميزات تصنيف الإشارات الصوتية أو الكلامية من حيث التقنيات المستخدمة لتحليل وتمثيل البيانات الأولية من حيث ميزات معينة.

تقنيات استخراج الكلام القياسية:

  • يقوم ترميز التنبؤ الخطي (LPC) بتقدير عينة الكلام الحالية من خلال تحليل عينة الكلام السابقة
  • يمثل معامل ميل-تردد سيسترال (MFCC) إشارة الكلام من خلال شكل بارامتري باستخدام مقياس ميل
  • يأخذ التنبؤ الخطي الإدراكي (PLP) الكلام البشري في الاعتبار

مع ذلك، فإن هذه التقنيات الثلاث ليست مثالية لأنها تتجاهل الإشارات غير المستقرة. يمكن تحليل الإشارات غير المستقرة باستخدام تحويل فورييه وتحويل فورييه قصير المدى ، بينما تُحلل الإشارات المتغيرة مع الزمن باستخدام تحويل المويجات وتحويل المويجات المنفصلة (DWT) .

تصنيف الصوت

يُعدّ تصنيف الصوت أحد أشكال التعلّم الخاضع للإشراف ، ويتضمن تحليل التسجيلات الصوتية. وينقسم إلى عدة فئات: تصنيف البيانات الصوتية، وتصنيف الأصوات البيئية، والتصنيف الموسيقي، وتصنيف الكلام في اللغة الطبيعية. [ 15 ] تشمل السمات الشائعة الاستخدام في هذه العملية: درجة الصوت ، وسمات النبرة ، والسمات الإيقاعية، وعدم التناغم ، والترابط الصوتي، مع إمكانية استخدام سمات أخرى. توجد عدة طرق لتصنيف الصوت باستخدام المصنفات الموجودة، مثل خوارزمية أقرب الجيران (k-Nearest Neighbors ) أو مصنف بايز البسيط . وباستخدام بيانات صوتية مُعلّمة، تتعلم الآلات تحديد الأصوات وتصنيفها.

أُجريت أبحاثٌ أيضاً حول استخدام الشبكات العصبية العميقة في التعرّف على الكلام وتصنيف الصوت، نظراً لفعاليتها في مجالات أخرى مثل تصنيف الصور. [ 16 ] إحدى طرق استخدام الشبكات العصبية العميقة هي تحويل ملفات الصوت إلى ملفات صور، باستخدام مخططات الطيف، بهدف إجراء التصنيف.

تطبيقات استخراج البيانات الصوتية

يُستخدم التنقيب الصوتي في مجالات مثل التنقيب الصوتي الموسيقي (المعروف أيضًا باسترجاع المعلومات الموسيقية )، والذي يتعلق بتحديد الخصائص المهمة إدراكيًا لقطعة موسيقية، مثل البنية اللحنية أو التوافقية أو الإيقاعية. ويمكن بعد ذلك إجراء عمليات بحث للعثور على مقطوعات موسيقية متشابهة من حيث خصائصها اللحنية والتوافقية و/أو الإيقاعية.

في مجال اللغويات ، استُخدم استخراج البيانات الصوتية في المعالجة الصوتية والتحليل الدلالي. [ 17 ] تُسهم كفاءة استخراج البيانات الصوتية في معالجة البيانات السمعية والبصرية في تحديد هوية المتحدث وتقسيم الكلام، بالإضافة إلى نسخ النصوص. ومن خلال هذه العملية، يُمكن تصنيف الكلام لتحديد المعلومات، أو استخراجها عبر الكلمات المفتاحية المنطوقة في الصوت. وقد استُخدمت هذه التقنية تحديدًا في تحليل الكلام . إذ استخدمت مراكز الاتصال هذه التقنية لإجراء تحليل فوري من خلال تحديد التغيرات في النبرة أو المشاعر أو درجة الصوت، وغيرها، والتي تُعالج بعد ذلك بواسطة محرك اتخاذ القرار أو الذكاء الاصطناعي لاتخاذ الإجراءات اللازمة. [ 18 ] كما شُوهد استخدامٌ إضافي في مجالات التعرف على الكلام وتطبيقات تحويل النص إلى كلام.

كما تم استخدامه بالتزامن مع استخراج البيانات من الفيديو، في مشاريع مثل استخراج بيانات الأفلام.

انظر أيضاً

مراجع

  1. ↑ ليفيت، نيل (2002). "لنحيي استخراج البيانات الصوتية". مجلة الكمبيوتر . 35 (10): 23-25 . doi : 10.1109/MC.2002.1039511 .
  2. ↑ تشانغ، تشونغفي؛ تشانغ، روفي (2008). استخراج البيانات من الوسائط المتعددة: مقدمة منهجية للمفاهيم والنظرية . مطبعة سي آر سي. رقم ISBN 9781584889670.
  3. ↑ ليفيت، نيل (2002). "لنحيي استخراج البيانات الصوتية". مجلة الكمبيوتر . 35 (10): 23-25 . doi : 10.1109/MC.2002.1039511 .
  4. ^ سين، سمية؛ دوتا، أنجان؛ داي ، نيلانجان (2019). معالجة الصوت والتعرف على الكلام . سبرينغر. رقم ISBN 978-981-13-6098-5.
  5. ↑ ليفيت، نيل (2002). "لنحيي استخراج البيانات الصوتية". مجلة الكمبيوتر . 35 (10): 23-25 . doi : 10.1109/MC.2002.1039511 .
  6. ↑ ليفيت، نيل (2002). "لنحيي استخراج البيانات الصوتية". مجلة الكمبيوتر . 35 (10): 23-25 . doi : 10.1109/MC.2002.1039511 .
  7. ^ سين، سمية؛ دوتا، أنجان؛ داي ، نيلانجان (2019). معالجة الصوت والتعرف على الكلام . سبرينغر. رقم ISBN 978-981-13-6098-5.
  8. ^ سين، سمية؛ دوتا، أنجان؛ داي ، نيلانجان (2019). معالجة الصوت والتعرف على الكلام . سبرينغر. رقم ISBN 978-981-13-6098-5.
  9. ↑ ليفيت، نيل (2002). "لنحيي استخراج البيانات الصوتية". مجلة الكمبيوتر . 35 (10): 23-25 . doi : 10.1109/MC.2002.1039511 .
  10. ↑ كارديلو، ب.؛ كليمنتس، م.؛ ميلر، م. (2002). "البحث الصوتي مقابل التعرف على الكلام المرئي: كيفية العثور على ما تريده حقًا في الأرشيفات الصوتية" . المجلة الدولية لتكنولوجيا الكلام . 5 (1): 9-22 . doi : 10.1023/A:1013670312989 . S2CID 36313454. تاريخ الاسترجاع: 23 أبريل 2020 . 
  11. ^ سين، سمية؛ دوتا، أنجان؛ داي ، نيلانجان (2019). معالجة الصوت والتعرف على الكلام . سبرينغر. رقم ISBN 978-981-13-6098-5.
  12. ^ سين، سمية؛ دوتا، أنجان؛ داي ، نيلانجان (2019). معالجة الصوت والتعرف على الكلام . سبرينغر. رقم ISBN 978-981-13-6098-5.
  13. ^ سين، سمية؛ دوتا، أنجان؛ داي ، نيلانجان (2019). معالجة الصوت والتعرف على الكلام . سبرينغر. رقم ISBN 978-981-13-6098-5.
  14. ↑ ليفيت، نيل (2002). "لنحيي استخراج البيانات الصوتية". مجلة الكمبيوتر . 35 (10): 23-25 . doi : 10.1109/MC.2002.1039511 .
  15. ↑ ليم، هينغتي. "ما هو تصنيف الصوت؟" . ليونبريدج . تم الاطلاع عليه بتاريخ 20 أبريل 2020 .
  16. ↑ سميلز، مايك. "تصنيف الأصوات باستخدام التعلم العميق" . ميديوم . تم الاطلاع عليه بتاريخ 20 أبريل 2020 .
  17. ↑ عزت، ثريا؛ الجيار، نعمت؛ غانم، مصطفى م. (2012). "تحليل المشاعر في المحادثات الصوتية لمراكز الاتصال باستخدام تصنيف النصوص" (ملف PDF) . المجلة الدولية لنظم معلومات الحاسوب وتطبيقات الإدارة الصناعية . 4 : 619-627 .
  18. ↑ كلي، ليونارد. "عصر تحليل الكلام بات وشيكاً" . destinationCRM.com . تم الاطلاع عليه بتاريخ 12 أبريل 2020 .

للمزيد من القراءة

سين، سمية؛ دوتا، أنجان؛ داي ، نيلانجان (2019). معالجة الصوت والتعرف على الكلام . سبرينغر. رقم ISBN 978-981-13-6098-5.