نظام الهمس (نظام التعرف على الكلام)

Whisper هو نموذج للتعلم الآلي للتعرف على الكلام والنسخ ، تم إنشاؤه بواسطة OpenAI وتم إصداره لأول مرة كبرنامج مفتوح المصدر في سبتمبر 2022. ^{[ 4 ]}

يستطيع هذا النظام تحويل الكلام إلى نص باللغة الإنجليزية ولغات أخرى متعددة، كما يمكنه ترجمة العديد من اللغات غير الإنجليزية إلى الإنجليزية. ^{[ 1 ]} يُعدّ Whisper نموذجًا صوتيًا للتعلم العميق بإشراف ضعيف ، تم تطويره باستخدام بنية محوّل التشفير-فك التشفير . ^{[ 1 ]} تدّعي OpenAI أن الجمع بين بيانات التدريب المختلفة وعمليات الترشيح اللاحقة للتدريب المستخدمة في تطويره قد أدى إلى تحسين التعرف على اللهجات والضوضاء الخلفية والمصطلحات المتخصصة مقارنةً بالأساليب السابقة. ^{[ 5 ]} على الرغم من أن أداء النموذج لا يتفوق على النماذج الأكبر والأكثر تخصصًا، ولا يزال يعاني من بعض التشويش الناتج عن الذكاء الاصطناعي ، فقد أثبت جدواه في التعرف على الأصوات بشكل عام، وله تطبيقات عديدة في مختلف القطاعات.

يتمتع التعرف على الكلام بتاريخ طويل في مجال البحث؛ حيث استخدمت المناهج الأولى أساليب إحصائية ، مثل تقنية مطابقة الوقت الديناميكية ، ولاحقًا نماذج ماركوف المخفية . في العقد الثاني من الألفية الثانية تقريبًا، أصبحت مناهج الشبكات العصبية العميقة أكثر شيوعًا في نماذج التعرف على الكلام، وذلك بفضل توفر مجموعات البيانات الضخمة (" البيانات الكبيرة ") وزيادة الأداء الحسابي. ^{[ 6 ]} شملت المناهج المبكرة للتعلم العميق في التعرف على الكلام الشبكات العصبية الالتفافية ، التي كانت محدودة بسبب عدم قدرتها على استيعاب البيانات المتسلسلة، مما أدى لاحقًا إلى تطوير مناهج Seq2seq ، التي تتضمن الشبكات العصبية المتكررة ، والتي تستخدم الذاكرة طويلة المدى . ^{[ 7 ]}

أحدثت تقنية Transformers ، التي قدمتها جوجل عام 2017، ثورةً في مجال التعلم الآلي ، متجاوزةً العديد من الأساليب الرائدة السابقة ، وأصبحت البنية العصبية الأساسية في مجالات مثل نمذجة اللغة ورؤية الحاسوب . ^{[ 8 ]} وفي أوائل العقد الثاني من القرن الحادي والعشرين، تم الاعتراف بأساليب التدريب شبه الموجه للنماذج الصوتية كتقنيات واعدة للتعرف على الكلام باستخدام الشبكات العصبية العميقة. ^{[ 9 ]}

بحسب تقرير لصحيفة نيويورك تايمز ، اعتقدت شركة OpenAI في عام 2021 أنها استنفدت مصادر البيانات عالية الجودة لتدريب نماذجها اللغوية الضخمة ، فقررت استكمال النصوص المستخرجة من الإنترنت بنصوص مكتوبة من مقاطع فيديو يوتيوب والبودكاست، وطورت برنامج Whisper لحل هذه المهمة. ^{[ 10 ]}

تم إطلاق Whisper Large V2 في 8 ديسمبر 2022، ^{[ 11 ]} وتلاه إطلاق Whisper Large V3 في نوفمبر 2023، خلال يوم مطوري OpenAI. ^{[ 12 ]} وفي مارس 2025، أصدرت OpenAI نماذج نسخ جديدة تعتمد على GPT-4o وGPT-4o mini، وكلاهما يتميز بمعدلات خطأ أقل من Whisper. ^{[ 13 ]}

تعتمد بنية Whisper على محول التشفير-فك التشفير. ^{[ 1 ]}

تُعاد معاينة الصوت المدخل إلى 16000 هرتز (Hz) ويتم تحويله إلى مخطط طيفي ميلي ذي 80 قناة باستخدام نوافذ زمنية مدتها 25 مللي ثانية وخطوة زمنية قدرها 10 مللي ثانية. ثم يُعاد تطبيع المخطط الطيفي إلى نطاق [-1، 1] بمتوسط ​​قريب من الصفر.

يستقبل المُشفِّر مخطط ميل الطيفي هذا كمدخل ويُعالجه. يمر أولاً عبر طبقتين التفافيتين ، ثم تُضاف إليه تضمينات موضعية جيبية. بعد ذلك، يُعالج بواسطة سلسلة من وحدات مُشفِّر المحول (مع وصلات متبقية قبل التنشيط ). يتم تطبيع خرج المُشفِّر طبقةً تلو الأخرى.

المُفكِّك هو مُفكِّك مُحوِّل قياسي. له نفس العرض ووحدات المُحوِّل المُستخدمة في المُشفِّر. يستخدم تضمينات موضعية مُتعلَّمة وتمثيلات مُرتبطة للرموز بين المُدخلات والمُخرجات (باستخدام نفس مصفوفة الأوزان لكلٍّ من تضمينات المُدخلات والمُخرجات). يستخدم مُجزِّئًا للرموز مُشفَّرًا على شكل أزواج بايت ، من نفس النوع المُستخدم في GPT-2 . تستخدم النماذج الإنجليزية فقط مُفردات GPT-2، بينما تستخدم النماذج مُتعددة اللغات مُفردات مُعاد تدريبها مُتعددة اللغات بنفس عدد الكلمات.

تُستخدم رموز خاصة للسماح لجهاز فك التشفير بأداء مهام متعددة:

• الرموز التي تدل على اللغة (رمز فريد واحد لكل لغة).
• الرموز التي تحدد المهمة ( <|transcribe|>أو <|translate|>).
• الرموز التي تحدد ما إذا كانت هناك طوابع زمنية أم لا ( <|notimestamps|>). إذا لم يكن الرمز موجودًا، فإن وحدة فك التشفير تتوقع الطوابع الزمنية بالنسبة للمقطع، ويتم تحديدها بفواصل زمنية قدرها 20 مللي ثانية.
• <|nospeech|>للكشف عن النشاط الصوتي.
• <|startoftranscript|>و <|endoftranscript|>. أي نص يظهر قبل ذلك <|startoftranscript|>لا يُولّده المُفكِّك، بل يُعطى له كسياق. يُحسب الفقد فقط على الأجزاء غير السياقية من التسلسل، أي الرموز بين هذين الرمزين المميزين.

تتألف مجموعة بيانات التدريب من 680,000 ساعة من أزواج الصوت والنصوص المصنفة، والتي تم الحصول عليها من الإنترنت باستخدام التعلم شبه الموجه . وتشمل هذه البيانات 117,000 ساعة في 96 لغة غير الإنجليزية، و125,000 ساعة من بيانات الترجمة من لغة إلى أخرى (X→الإنجليزية)، حيث يرمز X إلى أي لغة غير الإنجليزية. ^{[ 1 ]}

تضمنت المعالجة المسبقة توحيد النصوص، وتصفيتها لإزالة النصوص المُولّدة آليًا باستخدام أساليب استدلالية (مثل علامات الترقيم، واستخدام الأحرف الكبيرة)، وتحديد اللغة ومطابقتها مع النصوص، وإزالة التكرارات التقريبية ، وإزالة التكرارات مع مجموعات بيانات التقييم لتجنب تلوث البيانات. كما أُضيفت مقاطع صامتة للسماح بتدريب كشف النشاط الصوتي . بالنسبة للملفات المتبقية بعد عملية التصفية، قُسّمت الملفات الصوتية إلى مقاطع مدتها 30 ثانية، مُقترنة بمجموعة فرعية من النص الذي يقع ضمن تلك المدة. إذا اختلفت اللغة المنطوقة المُتوقعة عن لغة النص المُرتبط بالصوت، لم يُستخدم هذا الزوج من الصوت والنص لتدريب نماذج التعرف على الكلام، بل استُخدم لتدريب الترجمة.

تم تدريب النموذج باستخدام مُحسِّن AdamW مع تقليم معيار التدرج وانخفاض معدل التعلم الخطي مع فترة تهيئة، بحجم دفعة 256 مقطعًا. استمر التدريب لمليون تحديث (ما يقارب 2-3 دورات تدريبية ). لم يتم استخدام أي تضخيم أو تنظيم للبيانات، باستثناء نموذج Large V2 الذي استخدم SpecAugment و Stochastic Depth وBPE Dropout. اعتمد التدريب على التوازي في البيانات مع float16 ، وتوسيع نطاق الخسارة الديناميكي، ونقاط التحقق من التنشيط.

على الرغم من أن نموذج Whisper لا يتفوق على النماذج المتخصصة في مجموعة بيانات LibriSpeech ، إلا أنه عند اختباره على مجموعات بيانات متعددة، يكون أكثر قوة ويُقلل الأخطاء بنسبة 55.2% مقارنةً بالنماذج الأخرى. ^{[ 14 ] [ 15 ]} يُظهر Whisper معدل خطأ مختلفًا عند نسخ اللغات المختلفة، حيث يكون معدل خطأ الكلمات أعلى في اللغات غير المُمثلة بشكل كافٍ في بيانات التدريب. ^{[ 16 ]} وجد الباحثون أن التعلم متعدد المهام يُحسّن الأداء العام مقارنةً بالنماذج المتخصصة في مهمة واحدة. وافترضوا أن أفضل نموذج Whisper تم تدريبه لا يزال يُعاني من نقص في التوافق مع مجموعة البيانات، وأن النماذج الأكبر حجمًا والتدريب لفترات أطول يُمكن أن تُؤدي إلى نماذج أفضل. ^{[ 1 ]}

أظهرت تقييمات جهات خارجية مستويات متفاوتة من الهلوسة في الذكاء الاصطناعي. فقد وجدت دراسة لنصوص اجتماعات عامة وجود هلوسات في ثمانية من كل عشرة نصوص، بينما اكتشف مهندس هلوسات في "نحو نصف" 100 ساعة من النصوص، وحددها مطور برامج في "كل" نص تقريبًا من بين 26000 نص. ^{[ 17 ]} ووجدت دراسة أخرى شملت 13140 مقطعًا صوتيًا قصيرًا (بمتوسط ​​10 ثوانٍ) 187 حالة هلوسة (1.4%)، 38% منها أنتجت نصوصًا قد تكون ضارة لاحتوائها على إشارات خاطئة إلى أمور مثل العرق، أو أدوية غير موجودة، أو أحداث عنيفة لم تكن موجودة في التسجيل الصوتي. ^{[ 17 ] [ 18 ]}

استُخدم هذا النموذج كأساس للعديد من التطبيقات، مثل نموذج موحد للتعرف على الكلام والتعرف على الأصوات بشكل عام . ^{[ 19 ]} كما تم دمج Whisper في سير عمل البحوث الطبية الحيوية. ففي عام 2025، استخدمت دراسةٌ حول الكشف عن مرض الزهايمر هذا النموذج لنسخ تسجيلات الكلام التلقائي. ^{[ 20 ]} جُمعت النصوص التي أنشأها النموذج مع تضمينات متجهات LLM والمصنفات التقليدية للمساعدة في تصنيف الحالة الصحية للمرضى. ومن التطبيقات الأخرى، قيام شركة OVALYTICS بدمج Whisper لنسخ مقاطع فيديو يوتيوب وأتمتة أنظمة مراقبة المحتوى، مما حسّن من قدرتها على كشف المحتوى المسيء. ^{[ 21 ]}

استُخدم هذا النموذج أيضًا في المكتبات الأكاديمية ومؤسسات التراث الثقافي لإنشاء نصوص مكتوبة وتعليقات توضيحية لمجموعاتها السمعية البصرية الرقمية. وفي دراسة حالة أُجريت عام ٢٠٢٥، وجدت مكتبات جامعة إيموري أن برنامج Whisper قلل الجهد المبذول في النسخ بنسبة تتراوح بين ٣٠ و٣٥٪، محولًا العمل من إنشاء النصوص إلى تصحيحها. ومع ذلك، لا تزال المراجعة البشرية ضرورية لضمان دقة النصوص وتنسيقها وسهولة الوصول إليها. ^{[ ٢٢ ]}

• برنامج النسخ
• قائمة برامج التعرف على الكلام
• برنامج التعرف على الكلام لنظام لينكس
• الذكاء الاصطناعي
• الترجمة الآلية العصبية