واجهة المستخدم الصوتية

This article has multiple issues. Please help improve it or discuss these issues on the talk page. (Learn how and when to remove these messages) This article possibly contains original research. Please improve it by verifying the claims made and adding inline citations. Statements consisting only of original research should be removed. (September 2018) (Learn how and when to remove this message) This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources. Unsourced material may be challenged and removed. Find sources: "Voice user interface" – news · newspapers · books · scholar · JSTOR (September 2018) (Learn how and when to remove this message) This article needs to be updated. Please help update this article to reflect recent events or newly available information. (December 2019) (Learn how and when to remove this message)

تتيح واجهة المستخدم الصوتية ( VUI ) التفاعل البشري المنطوق مع أجهزة الكمبيوتر، باستخدام التعرف على الكلام لفهم الأوامر المنطوقة والإجابة على الأسئلة ، وعادةً ما يتم تحويل النص إلى كلام لتشغيل الرد. جهاز الأوامر الصوتية هو جهاز يتم التحكم فيه باستخدام واجهة مستخدم صوتية.

تمت إضافة واجهات المستخدم الصوتية إلى السيارات وأنظمة التشغيل الآلي للمنزل وأنظمة تشغيل الكمبيوتر والأجهزة المنزلية مثل الغسالات وأفران الميكروويف وأجهزة التحكم عن بعد في التلفزيون . وهي الطريقة الأساسية للتفاعل مع المساعدين الافتراضيين على الهواتف الذكية ومكبرات الصوت الذكية . يمكن للمضيفين الآليين الأقدم (الذين يوجهون المكالمات الهاتفية إلى الامتداد الصحيح) وأنظمة الاستجابة الصوتية التفاعلية (التي تجري معاملات أكثر تعقيدًا عبر الهاتف) الاستجابة للضغط على أزرار لوحة المفاتيح عبر نغمات DTMF ، ولكن تلك التي تحتوي على واجهة مستخدم صوتية كاملة تسمح للمتصلين بالتحدث عن الطلبات والاستجابات دون الحاجة إلى الضغط على أي أزرار.

الأجهزة الحديثة التي تعمل بالأوامر الصوتية لا تعتمد على مكبر الصوت، وبالتالي يمكنها الاستجابة لأصوات متعددة، بغض النظر عن التأثيرات اللهجية أو اللهجية. كما أنها قادرة على الاستجابة لعدة أوامر في وقت واحد، وفصل الرسائل الصوتية، وتوفير ردود الفعل المناسبة ، وتقليد المحادثة الطبيعية بدقة. ^[1]

واجهة المستخدم الصوتية هي الواجهة لأي تطبيق كلامي. منذ وقت قصير، كان التحكم في الآلة بمجرد التحدث إليها ممكنًا فقط في الخيال العلمي . وحتى وقت قريب، كان هذا المجال يُعتبر ذكاءً اصطناعيًا . ومع ذلك، ساهمت التطورات في التقنيات مثل تحويل النص إلى كلام، وتحويل الكلام إلى نص، ومعالجة اللغة الطبيعية ، والخدمات السحابية في التبني الجماعي لهذه الأنواع من الواجهات. أصبحت واجهات المستخدم الصوتية أكثر شيوعًا، ويستفيد الناس من القيمة التي توفرها هذه الواجهات التي لا تحتاج إلى استخدام اليدين والعينين في العديد من المواقف.

تحتاج واجهات المستخدم المرئية إلى الاستجابة للمدخلات بشكل موثوق، وإلا فسوف يرفضها المستخدمون ويسخرون منها غالبًا. يتطلب تصميم واجهة مستخدم مرئية جيدة مواهب متعددة التخصصات في علوم الكمبيوتر واللغويات وعلم نفس العوامل البشرية - وكلها مهارات باهظة الثمن ويصعب الحصول عليها. حتى مع أدوات التطوير المتقدمة، يتطلب إنشاء واجهة مستخدم مرئية فعالة فهمًا عميقًا لكل من المهام التي يجب القيام بها، وكذلك الجمهور المستهدف الذي سيستخدم النظام النهائي. كلما اقتربت واجهة المستخدم المرئية من النموذج الذهني للمستخدم للمهمة، كلما كان من الأسهل استخدامها مع القليل من التدريب أو بدونه، مما يؤدي إلى كفاءة أعلى ورضا أعلى للمستخدم.

إن واجهة المستخدم الشخصية المصممة للجمهور العام يجب أن تؤكد على سهولة الاستخدام وتوفر الكثير من المساعدة والتوجيه للمتصلين لأول مرة. وعلى النقيض من ذلك، فإن واجهة المستخدم الشخصية المصممة لمجموعة صغيرة من المستخدمين المحترفين (بما في ذلك عمال الخدمة الميدانية)، يجب أن تركز بشكل أكبر على الإنتاجية وأقل على المساعدة والتوجيه. وينبغي لمثل هذه التطبيقات أن تعمل على تبسيط تدفقات المكالمات، وتقليل المطالبات، والقضاء على التكرارات غير الضرورية، والسماح بـ " حوارات المبادرة المختلطة " المعقدة، والتي تمكن المتصلين من إدخال عدة قطع من المعلومات في عبارة واحدة وبأي ترتيب أو مجموعة. باختصار، يجب تصميم تطبيقات الكلام بعناية لعملية العمل المحددة التي يتم أتمتتها.

لا تصلح جميع العمليات التجارية بنفس القدر لأتمتة الكلام. بشكل عام، كلما كانت الاستفسارات والمعاملات أكثر تعقيدًا، كلما كان من الصعب أتمتتها، وكلما زاد احتمال فشلها مع عامة الناس. في بعض السيناريوهات، لا يمكن تطبيق الأتمتة ببساطة، لذا فإن مساعدة الوكيل المباشر هي الخيار الوحيد. على سبيل المثال، سيكون من الصعب جدًا أتمتة خط المساعدة القانونية. من ناحية أخرى، يعد الكلام مثاليًا للتعامل مع المعاملات السريعة والروتينية، مثل تغيير حالة أمر العمل، أو إكمال إدخال الوقت أو النفقات، أو تحويل الأموال بين الحسابات.

تضمنت التطبيقات المبكرة لـ VUI الاتصال الصوتي بالهواتف، إما بشكل مباشر أو من خلال سماعة رأس (عادةً ما تكون بتقنية Bluetooth ) أو نظام صوتي للمركبة.

في عام 2007، ذكرت مقالة أعمال في شبكة سي إن إن أن الأوامر الصوتية كانت صناعة تزيد قيمتها عن مليار دولار وأن شركات مثل جوجل وآبل كانت تحاول إنشاء ميزات التعرف على الكلام. ^[2] في السنوات التي تلت نشر المقال، شهد العالم مجموعة متنوعة من أجهزة الأوامر الصوتية. بالإضافة إلى ذلك، أنشأت جوجل محرك التعرف على الكلام يسمى Pico TTS وأصدرت آبل Siri. أصبحت أجهزة الأوامر الصوتية متاحة على نطاق أوسع، ويتم دائمًا إنشاء طرق مبتكرة لاستخدام الصوت البشري. على سبيل المثال، تشير مجلة بيزنس ويك إلى أن جهاز التحكم عن بعد المستقبلي سيكون الصوت البشري. يسمح Xbox Live حاليًا بمثل هذه الميزات وألمح جوبز إلى مثل هذه الميزة على Apple TV الجديد . ^[3]

يوفر كل من أجهزة Apple Mac وأجهزة الكمبيوتر التي تعمل بنظام Windows ميزات التعرف على الكلام المضمنة لأنظمة التشغيل الأحدث الخاصة بها .

يوفر نظاما تشغيل من إنتاج شركة مايكروسوفت، Windows 7 و Windows Vista ، قدرات التعرف على الكلام. وقد قامت شركة مايكروسوفت بدمج الأوامر الصوتية في أنظمة التشغيل الخاصة بها لتوفير آلية للأشخاص الذين يرغبون في الحد من استخدامهم للفأرة ولوحة المفاتيح، ولكنهم لا يزالون يرغبون في الحفاظ على إنتاجيتهم الإجمالية أو زيادتها. ^[4]

باستخدام التحكم الصوتي في نظام التشغيل Windows Vista، يمكن للمستخدم إملاء المستندات ورسائل البريد الإلكتروني في التطبيقات الرئيسية، وبدء التطبيقات والتبديل بينها، والتحكم في نظام التشغيل، وتنسيق المستندات، وحفظ المستندات، وتحرير الملفات، وتصحيح الأخطاء بكفاءة، وملء النماذج على الويب . يتعلم برنامج التعرف على الكلام تلقائيًا في كل مرة يستخدمه فيها المستخدم، ويتوفر التعرف على الكلام باللغات الإنجليزية (الولايات المتحدة)، والإنجليزية (المملكة المتحدة)، والألمانية (ألمانيا)، والفرنسية (فرنسا)، والإسبانية (إسبانيا)، واليابانية، والصينية (التقليدية)، والصينية (المبسطة). بالإضافة إلى ذلك، يأتي البرنامج مع برنامج تعليمي تفاعلي، يمكن استخدامه لتدريب كل من المستخدم ومحرك التعرف على الكلام. ^[5]

بالإضافة إلى جميع الميزات المتوفرة في Windows Vista، يوفر Windows 7 معالجًا لإعداد الميكروفون ودليلًا تعليميًا حول كيفية استخدام الميزة. ^[6]

تأتي جميع أجهزة كمبيوتر Mac OS X مثبتًا عليها مسبقًا برنامج التعرف على الكلام. البرنامج مستقل عن المستخدم، ويسمح للمستخدم "بالتنقل بين القوائم وإدخال اختصارات لوحة المفاتيح؛ ونطق أسماء مربعات الاختيار، وأسماء أزرار الاختيار، وعناصر القائمة، وأسماء الأزرار؛ وفتح التطبيقات وإغلاقها والتحكم فيها والتبديل بينها." ^[7] ومع ذلك، يوصي موقع Apple المستخدم بشراء منتج تجاري يسمى Dictate . ^[7]

إذا لم يكن المستخدم راضيًا عن برنامج التعرف على الكلام المدمج أو لم يكن لديه برنامج التعرف على الكلام المدمج لنظام التشغيل الخاص به، فيمكن للمستخدم تجربة منتج تجاري مثل Braina Pro أو DragonNaturallySpeaking لأجهزة الكمبيوتر التي تعمل بنظام Windows، ^[8] وDictate، وهو اسم نفس البرنامج لنظام التشغيل Mac OS. ^[9]

يوفر أي جهاز محمول يعمل بنظام التشغيل Android أو Microsoft Windows Phone أو iOS 9 أو أحدث أو Blackberry OS قدرات الأوامر الصوتية. بالإضافة إلى برنامج التعرف على الكلام المدمج في نظام التشغيل الخاص بكل هاتف محمول، يمكن للمستخدم تنزيل تطبيقات الأوامر الصوتية من جهة خارجية من متجر تطبيقات كل نظام تشغيل: Apple App store أو Google Play أو Windows Phone Marketplace (مبدئيًا Windows Marketplace for Mobile ) أو BlackBerry App World .

طورت جوجل نظام تشغيل مفتوح المصدر يسمى أندرويد ، والذي يسمح للمستخدم بإجراء أوامر صوتية مثل: إرسال رسائل نصية، والاستماع إلى الموسيقى، والحصول على الاتجاهات، والاتصال بالشركات، والاتصال بجهات الاتصال، وإرسال البريد الإلكتروني، وعرض الخريطة، والانتقال إلى مواقع الويب، وكتابة ملاحظة، والبحث في جوجل. ^[10] يتوفر برنامج التعرف على الكلام لجميع الأجهزة منذ أندرويد 2.2 "فرويو" ، ولكن يجب ضبط الإعدادات على اللغة الإنجليزية. ^[10] تسمح جوجل للمستخدم بتغيير اللغة، ويطلب من المستخدم عندما يستخدم ميزة التعرف على الكلام لأول مرة ما إذا كان يرغب في ربط بيانات صوته بحسابه في جوجل. إذا قرر المستخدم الاشتراك في هذه الخدمة، فهذا يسمح لجوجل بتدريب البرنامج على صوت المستخدم. ^[11]

قدمت شركة جوجل مساعدها الرقمي Google Assistant مع نظام التشغيل أندرويد 7.0 "نوجا" . وهو أكثر تقدمًا بكثير من الإصدار الأقدم.

تتمتع شركة Amazon.com بجهاز Echo الذي يستخدم إصدار Amazon المخصص من نظام التشغيل Android لتوفير واجهة صوتية.

Windows Phone هو نظام تشغيل الأجهزة المحمولة من Microsoft . في Windows Phone 7.5، يكون تطبيق الكلام مستقلاً عن المستخدم ويمكن استخدامه في: الاتصال بشخص ما من قائمة جهات الاتصال لديك، أو الاتصال بأي رقم هاتف، أو إعادة الاتصال بالرقم الأخير، أو إرسال رسالة نصية، أو الاتصال بالبريد الصوتي، أو فتح تطبيق، أو قراءة المواعيد، أو الاستعلام عن حالة الهاتف، أو البحث في الويب. ^{[12] [13]} بالإضافة إلى ذلك، يمكن أيضًا استخدام الكلام أثناء مكالمة هاتفية، ومن الممكن القيام بالإجراءات التالية أثناء مكالمة هاتفية: الضغط على رقم، أو تشغيل مكبر الصوت، أو الاتصال بشخص ما، مما يضع المكالمة الحالية قيد الانتظار. ^[13]

يقدم Windows 10 نظام Cortana ، وهو نظام للتحكم الصوتي يحل محل نظام التحكم الصوتي المستخدم سابقًا على هواتف Windows.

أضافت شركة Apple ميزة التحكم الصوتي إلى عائلة أجهزة iOS الخاصة بها كميزة جديدة لنظام التشغيل iPhone OS 3. يأتي كل من iPhone 4S و iPad 3 و iPad Mini 1G و iPad Air و iPad Pro 1G و iPod Touch 5G والإصدارات الأحدث، مع مساعد صوتي أكثر تقدمًا يسمى Siri . لا يزال من الممكن تمكين التحكم الصوتي من خلال قائمة الإعدادات للأجهزة الأحدث. Siri هي ميزة التعرف على الكلام المضمنة المستقلة عن المستخدم والتي تسمح للمستخدم بإصدار أوامر صوتية. بمساعدة Siri، يمكن للمستخدم إصدار أوامر مثل إرسال رسالة نصية أو التحقق من الطقس أو تعيين تذكير أو العثور على معلومات أو جدولة اجتماعات أو إرسال بريد إلكتروني أو العثور على جهة اتصال أو تعيين منبه أو الحصول على الاتجاهات أو تتبع أسهمك أو تعيين مؤقت أو طلب أمثلة على استعلامات الأوامر الصوتية النموذجية. ^[14] بالإضافة إلى ذلك، تعمل Siri مع البلوتوث وسماعات الرأس السلكية. ^[15]

قدمت شركة Apple ميزة Personal Voice كميزة إمكانية وصول في نظام التشغيل iOS 17 ، الذي تم إطلاقه في 18 سبتمبر 2023. ^[16] تتيح هذه الميزة للمستخدمين إنشاء نسخة مخصصة من صوتهم يتم إنشاؤها بواسطة التعلم الآلي (AI) لاستخدامها في تطبيقات تحويل النص إلى كلام . تم تصميم Personal Voice خصيصًا للأفراد الذين يعانون من ضعف الكلام ، حيث يساعد في الحفاظ على الصوت الفريد لصوت المستخدم. كما أنه يعزز Siri وأدوات إمكانية الوصول الأخرى من خلال توفير تجربة مستخدم أكثر تخصيصًا وشاملاً . يعكس Personal Voice التزام Apple المستمر بإمكانية الوصول والابتكار . ^{[17] [18]}

في عام 2014، قدمت أمازون جهاز المنزل الذكي أليكسا . كان الغرض الرئيسي منه مجرد مكبر صوت ذكي يسمح للمستهلك بالتحكم في الجهاز بصوته. في النهاية، تحول إلى جهاز جديد لديه القدرة على التحكم في الأجهزة المنزلية بالصوت. الآن يمكن التحكم في جميع الأجهزة تقريبًا باستخدام أليكسا، بما في ذلك المصابيح الكهربائية ودرجة الحرارة. من خلال السماح بالتحكم الصوتي، يمكن لأليكسا الاتصال بتقنية المنزل الذكي مما يسمح لك بقفل منزلك والتحكم في درجة الحرارة وتنشيط أجهزة مختلفة. يسمح هذا الشكل من الذكاء الاصطناعي لشخص ما ببساطة بطرح سؤال عليه، وفي الرد تبحث أليكسا عن الإجابة وتجدها وترد عليك. ^[19]

مع تحسن تكنولوجيا السيارات، سيتم إضافة المزيد من الميزات إلى السيارات وقد تؤدي هذه الميزات إلى تشتيت انتباه السائق. وفقًا لـ CNET ، يجب أن تسمح الأوامر الصوتية للسيارات للسائق بإصدار الأوامر وعدم تشتيت انتباهه. ذكرت CNET أن Nuance كانت تقترح أنه في المستقبل سيبتكرون برنامجًا يشبه Siri، ولكن للسيارات. ^[20] كانت معظم برامج التعرف على الكلام في السوق في عام 2011 تحتوي على حوالي 50 إلى 60 أمرًا صوتيًا فقط، لكن Ford Sync كان يحتوي على 10000 أمر صوتي. ^[20] ومع ذلك، اقترحت CNET أن حتى 10000 أمر صوتي لم تكن كافية نظرًا لتعقيد وتنوع المهام التي قد يرغب المستخدم في القيام بها أثناء القيادة. ^[20] تختلف الأوامر الصوتية للسيارات عن الأوامر الصوتية للهواتف المحمولة وأجهزة الكمبيوتر لأن السائق قد يستخدم الميزة للبحث عن المطاعم القريبة والبحث عن البنزين واتجاهات القيادة وظروف الطريق وموقع أقرب فندق. ^[20] حاليًا، تسمح التكنولوجيا للسائق بإصدار أوامر صوتية على كل من نظام تحديد المواقع العالمي (GPS) المحمول مثل Garmin ونظام الملاحة الخاص بشركة تصنيع السيارات. ^[21]

قائمة أنظمة الأوامر الصوتية التي توفرها شركات تصنيع المحركات:

• فورد سينك
• الأوامر الصوتية من لكزس
• كرايسلر يوكونيكت
• هوندا أكورد
• جنرال موتورز إنتلي لينك
• بي ام دبليو
• مرسيدس
• رائد
• هارمان
• هيونداي

في حين أن معظم واجهات المستخدم الصوتية مصممة لدعم التفاعل من خلال اللغة البشرية المنطوقة، فقد كانت هناك أيضًا استكشافات حديثة في تصميم واجهات تأخذ الأصوات البشرية غير اللفظية كمدخلات. ^{[22] [23]} في هذه الأنظمة، يتحكم المستخدم في الواجهة عن طريق إصدار أصوات غير كلامية مثل الهمهمة أو الصفير أو النفخ في الميكروفون. ^[24]

أحد الأمثلة على واجهة المستخدم الصوتية غير اللفظية هو Blendie، ^{[25] [26]} وهو تركيب فني تفاعلي من إبداع كيلي دوبسون. تتألف القطعة من خلاط كلاسيكي من حقبة الخمسينيات من القرن الماضي تم تعديله للاستجابة لإدخال الميكروفون. للتحكم في الخلاط، يجب على المستخدم تقليد الأصوات الميكانيكية الصاخبة التي يصدرها الخلاط عادةً: سوف يدور الخلاط ببطء استجابةً لهدير المستخدم منخفض النبرة، ويزداد سرعته مع إصدار المستخدم لأصوات صوتية عالية النبرة.

ومن الأمثلة الأخرى VoiceDraw، ^[27] وهو نظام بحثي يتيح الرسم الرقمي للأفراد ذوي القدرات الحركية المحدودة. يسمح VoiceDraw للمستخدمين "برسم" ضربات على قماش رقمي من خلال تعديل أصوات الحروف المتحركة، والتي يتم تعيينها وفقًا لاتجاهات الفرشاة. يسمح تعديل السمات اللغوية الأخرى (مثل ارتفاع صوتهم) للمستخدم بالتحكم في ميزات مختلفة للرسم، مثل سمك ضربة الفرشاة.

تتضمن الأساليب الأخرى اعتماد الأصوات غير اللفظية لتعزيز الواجهات القائمة على اللمس (على سبيل المثال على الهاتف المحمول) لدعم أنواع جديدة من الإيماءات التي لن تكون ممكنة باستخدام إدخال الإصبع وحده. ^[24]

تشكل واجهات الصوت عددًا كبيرًا من التحديات فيما يتعلق بسهولة الاستخدام. وعلى النقيض من واجهات المستخدم الرسومية (GUIs)، لا تزال أفضل الممارسات لتصميم واجهة الصوت ناشئة. ^[28]

مع التفاعل القائم على الصوت فقط، تميل واجهات المستخدم الصوتية إلى المعاناة من انخفاض القدرة على الاكتشاف : ^[28] من الصعب على المستخدمين فهم نطاق قدرات النظام. لكي ينقل النظام ما هو ممكن بدون عرض مرئي، فإنه يحتاج إلى تعداد الخيارات المتاحة، والتي يمكن أن تصبح مملة أو غير قابلة للتطبيق. غالبًا ما يؤدي انخفاض القدرة على الاكتشاف إلى إبلاغ المستخدمين عن ارتباك بشأن ما "يُسمح لهم" بقوله، أو عدم تطابق التوقعات بشأن اتساع فهم النظام. ^{[29] [30]}

على الرغم من تحسن تقنية التعرف على الكلام بشكل كبير في السنوات الأخيرة، إلا أن واجهات المستخدم الصوتية لا تزال تعاني من أخطاء التحليل أو النسخ حيث لا يتم تفسير كلام المستخدم بشكل صحيح. ^[31] تميل هذه الأخطاء إلى الانتشار بشكل خاص عندما يستخدم محتوى الكلام مفردات تقنية (مثل المصطلحات الطبية) أو تهجئات غير تقليدية مثل أسماء الفنانين الموسيقيين أو الأغاني. ^[32]

يظل تصميم النظام الفعال لتعظيم الفهم المحادثة مجالًا مفتوحًا للبحث. تعد واجهات المستخدم الصوتية التي تفسر وتدير حالة المحادثة صعبة التصميم بسبب الصعوبة المتأصلة في دمج مهام معالجة اللغة الطبيعية المعقدة مثل حل المرجع المشترك والتعرف على الكيانات المسماة واسترجاع المعلومات وإدارة الحوار . ^[33] معظم المساعدين الصوتيين اليوم قادرون على تنفيذ أوامر فردية بشكل جيد للغاية ولكنهم محدودون في قدرتهم على إدارة الحوار بما يتجاوز مهمة ضيقة أو بضع دورات في محادثة. ^[34]

This section needs to be updated. Please help update this article to reflect recent events or newly available information. (September 2018)

تعتمد الأجهزة بحجم الجيب، مثل أجهزة المساعد الرقمي الشخصي (PDA) أو الهواتف المحمولة ، حاليًا على أزرار صغيرة لإدخال المستخدم. تكون هذه الأزرار إما مدمجة في الجهاز أو جزءًا من واجهة شاشة تعمل باللمس، مثل واجهة تطبيق Apple iPod Touch و iPhone Siri. يمكن أن يكون الضغط المكثف على الأزرار على الأجهزة ذات هذه الأزرار الصغيرة مملًا وغير دقيق، لذا فإن واجهة المستخدم المرئية سهلة الاستخدام والدقيقة والموثوقة قد تكون بمثابة تقدم كبير في سهولة استخدامها. ومع ذلك، فإن مثل هذه واجهة المستخدم المرئية ستفيد أيضًا مستخدمي أجهزة الكمبيوتر المحمولة وأجهزة الكمبيوتر المكتبية، حيث ستحل العديد من المشكلات المرتبطة حاليًا باستخدام لوحة المفاتيح والماوس ، بما في ذلك إصابات الإجهاد المتكررة مثل متلازمة النفق الرسغي ، وتحديات التنقل وإدخال النص داخل الواجهات الرقمية من قبل ضعاف البصر، ^[35] وسرعة الكتابة البطيئة من جانب مستخدمي لوحة المفاتيح عديمي الخبرة. علاوة على ذلك، يستلزم استخدام لوحة المفاتيح عادةً الجلوس أو الوقوف بثبات أمام الشاشة المتصلة؛ على النقيض من ذلك، فإن واجهة المستخدم الصوتية ستتيح للمستخدم حرية أكبر في الحركة، حيث أن إدخال الكلام يلغي الحاجة إلى النظر إلى لوحة المفاتيح.

إن مثل هذه التطورات قد تغير وجه الآلات الحالية وتخلف آثاراً بعيدة المدى على كيفية تفاعل المستخدمين معها. فالأجهزة المحمولة سوف تُصمم بشاشات أكبر وأسهل في العرض، حيث لن تكون هناك حاجة إلى لوحة مفاتيح. ولن تحتاج أجهزة الشاشات التي تعمل باللمس إلى تقسيم الشاشة بين المحتوى ولوحة المفاتيح على الشاشة، وبالتالي توفير عرض كامل للمحتوى على الشاشة. ومن الممكن أن يتم تقليص حجم أجهزة الكمبيوتر المحمولة إلى النصف، حيث سيتم التخلص من نصف لوحة المفاتيح ودمج جميع المكونات الداخلية خلف الشاشة، مما يؤدي فعلياً إلى إنتاج كمبيوتر لوحي بسيط . وسوف تتكون أجهزة الكمبيوتر المكتبية من وحدة معالجة مركزية وشاشة، مما يوفر مساحة سطح المكتب التي كانت تشغلها لوحة المفاتيح بخلاف ذلك، ويقضي على حوامل لوحة المفاتيح المنزلقة المبنية تحت سطح المكتب. كما يمكن التخلص من أجهزة التحكم عن بعد في أجهزة التلفزيون ولوحات المفاتيح الموجودة في عشرات الأجهزة الأخرى، من أفران الميكروويف إلى آلات النسخ.

ولكن لابد من التغلب على العديد من التحديات حتى يتسنى حدوث مثل هذه التطورات. فأولاً، لابد وأن تكون واجهة المستخدم الصوتية متطورة بما يكفي للتمييز بين المدخلات، مثل الأوامر، والمحادثات الخلفية؛ وإلا فإن المدخلات الخاطئة سوف تسجل وسوف يتصرف الجهاز المتصل بشكل غير منتظم. ومن الممكن أن يؤدي توجيه قياسي، مثل نداء "الكمبيوتر!" الشهير الذي يطلقه شخصيات في برامج الخيال العلمي التلفزيونية والأفلام مثل ستار تريك ، إلى تنشيط واجهة المستخدم الصوتية وإعدادها لتلقي المزيد من المدخلات من نفس المتحدث. ومن الممكن أن تتضمن واجهة المستخدم الصوتية أيضاً تمثيلاً يشبه الإنسان: صوت أو حتى شخصية على الشاشة، على سبيل المثال، تستجيب (على سبيل المثال، "نعم، فامشي؟") وتستمر في التواصل ذهاباً وإياباً مع المستخدم من أجل توضيح المدخلات التي تلقاها وضمان دقتها.

ثانياً، لابد أن تعمل واجهة المستخدم المرئية بالتنسيق مع برامج متطورة للغاية من أجل معالجة المعلومات وإيجادها واسترجاعها بدقة أو تنفيذ إجراء وفقًا لتفضيلات المستخدم المعين. على سبيل المثال، إذا كانت سامانثا تفضل المعلومات من صحيفة معينة، وإذا كانت تفضل تلخيص المعلومات في شكل نقاط، فقد تقول، "أيها الكمبيوتر، اعثر لي على بعض المعلومات حول الفيضانات في جنوب الصين الليلة الماضية"؛ وفي الرد، فإن واجهة المستخدم المرئية التي تعرف تفضيلاتها "ستجد" حقائق حول "الفيضانات" في "جنوب الصين" من هذا المصدر، وتحولها إلى شكل نقاط، وتقدمها لها على الشاشة و/أو في شكل صوتي، مع الاستشهاد بها. وبالتالي، ستكون هناك حاجة إلى برامج التعرف على الكلام الدقيقة ، إلى جانب درجة معينة من الذكاء الاصطناعي من جانب الجهاز المرتبط بواجهة المستخدم المرئية.

تثار مخاوف الخصوصية بسبب حقيقة أن الأوامر الصوتية متاحة لمقدمي واجهات المستخدم الصوتي في شكل غير مشفر، وبالتالي يمكن مشاركتها مع أطراف ثالثة ومعالجتها بطريقة غير مصرح بها أو غير متوقعة. ^{[36] [37]} بالإضافة إلى المحتوى اللغوي للكلام المسجل، يمكن أن تحتوي طريقة تعبير المستخدم وخصائص صوته ضمناً على معلومات حول هويته البيومترية، وسمات شخصيته، وشكل جسمه، وحالته الصحية البدنية والعقلية، وجنسه، وحالته المزاجية وعواطفه ، ووضعه الاجتماعي والاقتصادي، وأصله الجغرافي. ^[38]

• تركيب الكلام
• قائمة برامج التعرف على الكلام
• واجهة المستخدم باللغة الطبيعية
• تصميم واجهة المستخدم
• متصفح الصوت
• التعرف على الكلام في لينكس
• لينغواترونيك
• الحوسبة الصوتية

• واجهات الصوت: تقييم الإمكانات بقلم جاكوب نيلسن
• صعود الصوت: جدول زمني
• قاموس المصطلحات الصوتي الأول
• الصوت أولاً: قائمة القراءة