الرسوم المتحركة الحاسوبية للوجه

يمكن التعامل مع توليد بيانات تحريك الوجه بطرق مختلفة: 1) التقاط الحركة القائم على العلامات على النقاط أو العلامات على وجه المؤدي، 2) تقنيات التقاط الحركة بدون علامات باستخدام أنواع مختلفة من الكاميرات، 3) التقنيات القائمة على الصوت، و 4) الرسوم المتحركة بالإطارات الرئيسية .

• تستخدم تقنية التقاط الحركة كاميرات تُوضع حول الشخص المراد تصويره. يُزوّد ​​هذا الشخص عادةً إما بعاكسات (في تقنية التقاط الحركة السلبية) أو بمصادر ضوئية (في تقنية التقاط الحركة النشطة) لتحديد موقعه بدقة في الفضاء. تُحوّل البيانات المسجلة بواسطة الكاميرات إلى بيانات رقمية، ثم تُحوّل إلى نموذج حاسوبي ثلاثي الأبعاد للشخص. حتى وقت قريب، كان حجم أجهزة الكشف/المصادر المستخدمة في أنظمة التقاط الحركة يجعل هذه التقنية غير مناسبة لتصوير الوجه. مع ذلك، ساهم التصغير والتطورات الأخرى في جعل تقنية التقاط الحركة أداةً فعّالة لتحريك الوجه حاسوبيًا.استُخدمت تقنية التقاط حركة الوجه على نطاق واسع في فيلم " قطار القطب الشمالي " من إنتاج شركة " إيماج وركس "، حيث تم التقاط مئات نقاط الحركة. كان هذا الفيلم متقنًا للغاية، ورغم محاولته محاكاة الواقعية، فقد وُجّهت إليه انتقادات لوقوعه في " وادي الغرابة "، وهو النطاق الذي تكون فيه واقعية الرسوم المتحركة كافية للتعرف البشري ونقل الرسالة العاطفية، لكن الشخصيات لا تُعتبر واقعية. تكمن الصعوبات الرئيسية في تقنية التقاط الحركة في جودة البيانات، التي قد تتضمن اهتزازات، بالإضافة إلى إعادة توجيه هندسة النقاط.
• يهدف التقاط الحركة بدون علامات إلى تبسيط عملية التقاط الحركة بتجنب إثقال كاهل المؤدي بالعلامات. وقد ظهرت مؤخرًا عدة تقنيات تستفيد من مستشعرات مختلفة، من بينها كاميرات الفيديو القياسية، وجهاز Kinect، ومستشعرات العمق، أو أجهزة أخرى تعتمد على الضوء المهيكل. يمكن للأنظمة القائمة على الضوء المهيكل تحقيق أداء فوري دون استخدام أي علامات، وذلك باستخدام ماسح ضوئي عالي السرعة للضوء المهيكل. يعتمد النظام على مرحلة تتبع وجه قوية غير متصلة بالإنترنت، حيث يتم تدريب النظام باستخدام تعابير وجه مختلفة. تُستخدم التسلسلات المتطابقة لبناء نموذج خطي للوجه خاص بكل شخص، والذي يُستخدم لاحقًا لتتبع الوجه ونقل التعبيرات بشكل فوري.
• تُعدّ التقنيات الصوتية مناسبةً للغاية لتحريك الكلام. عادةً ما يُعامل الكلام بطريقةٍ مختلفةٍ عن تحريك تعابير الوجه، وذلك لأنّ أساليب التحريك البسيطة القائمة على الإطارات الرئيسية لا تُقدّم عادةً تقريبًا دقيقًا لديناميكيات الكلام الحقيقية. غالبًا ما تُستخدم وحدات الصوت المرئي (visemes) لتمثيل الوضعيات الرئيسية في الكلام المرصود (أي وضع الشفتين والفك واللسان عند نطق صوتٍ مُعيّن )، ومع ذلك، يوجد تباينٌ كبيرٌ في تجسيد وحدات الصوت المرئي أثناء إنتاج الكلام الطبيعي. يُطلق على مصدر هذا التباين اسم التلفظ المشترك ، وهو تأثير وحدات الصوت المرئي المُحيطة على وحدة الصوت المرئي الحالية (أي تأثير السياق). لمراعاة التلفظ المشترك، تأخذ الأنظمة الحالية السياق في الحسبان صراحةً عند دمج الإطارات الرئيسية لوحدات الصوت المرئي ^{[ 2 ]} ، أو تستخدم وحداتٍ أطول مثل ثنائي الصوت ، وثلاثي الصوت ، والمقطع، أو حتى وحدات طول الكلمة والجملة . أحد أكثر الأساليب شيوعًا لتحريك الكلام هو استخدام دوال الهيمنة التي قدّمها كوهين وماسارو. تمثل كل دالة هيمنة تأثير وحدة صوتية (viseme) على الكلام بمرور الوقت. عادةً ما يكون التأثير في ذروته عند مركز الوحدة الصوتية، ويتناقص كلما ابتعدنا عن هذا المركز. تُدمج دوال الهيمنة معًا لتوليد مسار الكلام، تمامًا كما تُدمج دوال الأساس المنحنية لتوليد منحنى. يختلف شكل كل دالة هيمنة باختلاف الوحدة الصوتية التي تمثلها، وكذلك باختلاف جانب الوجه الذي يتم التحكم فيه (مثل عرض الشفتين، دوران الفك، إلخ). يمكن ملاحظة هذا النهج في تحريك الكلام المُولّد حاسوبيًا في شخصية بالدي الناطقة. تستخدم نماذج أخرى للكلام وحدات أساسية تتضمن السياق (مثل الثنائيات الصوتية ، الثلاثيات الصوتية ، إلخ) بدلًا من الوحدات الصوتية. ولأن الوحدات الأساسية تتضمن بالفعل تباين كل وحدة صوتية وفقًا للسياق، وإلى حد ما ديناميكياتها، فلا حاجة إلى نموذج للتلفظ المشترك . ببساطة، يتم توليد الكلام عن طريق اختيار الوحدات المناسبة من قاعدة بيانات ودمجها معًا. يشبه هذا تقنيات التجميع في توليف الكلام الصوتي . لكن يعيب هذه النماذج الحاجة إلى كمية كبيرة من البيانات المُسجلة لإنتاج نتائج طبيعية، ومع أن الوحدات الأطول تُنتج نتائج أكثر طبيعية، إلا أن حجم قاعدة البيانات المطلوبة يزداد مع متوسط ​​طول كل وحدة. وأخيرًا، تُولّد بعض النماذج رسومًا متحركة للكلام مباشرةً من الصوت. وتستخدم هذه الأنظمة عادةً نماذج ماركوف المخفية .أو الشبكات العصبية لتحويل معلمات الصوت إلى سلسلة من معلمات التحكم لنموذج الوجه. وتكمن ميزة هذه الطريقة في قدرتها على التعامل مع سياق الصوت، والإيقاع الطبيعي، والسرعة، والحالة العاطفية، والديناميكية دون الحاجة إلى خوارزميات تقريب معقدة. ولا تتطلب قاعدة بيانات التدريب تصنيفًا، إذ لا حاجة إلى فونيمات أو فيسيمات؛ فالبيانات المطلوبة هي الصوت ومعلمات الرسوم المتحركة فقط.
• تُعدّ الرسوم المتحركة بالإطارات الرئيسية أقل عمليات إنشاء بيانات الرسوم المتحركة آليةً، على الرغم من أنها توفر أقصى قدر من التحكم فيها. وغالبًا ما تُستخدم بالتزامن مع تقنيات أخرى لإضفاء اللمسات النهائية على الرسوم المتحركة.يمكن أن تتكون بيانات الإطارات الرئيسية من قيم عددية تُحدد معاملات أهداف التشكيل أو قيم الدوران والانتقال للعظام في النماذج ذات الهيكل العظمي. ولتسريع عملية الرسوم المتحركة بالإطارات الرئيسية ، يُستخدم هيكل تحكم في كثير من الأحيان. يُمثل هيكل التحكم مستوى أعلى من التجريد، حيث يُمكنه التأثير على معاملات أهداف تشكيل متعددة أو عظام متعددة في الوقت نفسه. على سبيل المثال، يُمكن لعنصر تحكم "الابتسامة" أن يؤثر في آنٍ واحد على شكل الفم، حيث يرتفع للأعلى، وعلى تضييق العينين.

التقنيات الرئيسية المستخدمة لتطبيق تحريك الوجه على الشخصية هي: 1) تحريك الأهداف المتحولة ، 2) التحريك القائم على العظام ، 3) التحريك القائم على النسيج (ثنائي الأبعاد أو ثلاثي الأبعاد)، و 4) النماذج الفسيولوجية .

• تُتيح الأنظمة القائمة على أهداف التحويل (وتُسمى أيضًا "أشكال المزج" ) تشغيلًا سريعًا ودقة عالية في تجسيد تعابير الوجه. تتضمن هذه التقنية نمذجة أجزاء من شبكة الوجه لتقريب تعابير الوجه وحركاته ، ثم مزج الشبكات الفرعية المختلفة، والمعروفة باسم أهداف التحويل أو أشكال المزج. ولعلّ أبرز الشخصيات التي استخدمت هذه التقنية هي غولوم من فيلم "سيد الخواتم" . من عيوب هذه التقنية أنها تتطلب جهدًا يدويًا مكثفًا وتختلف باختلاف كل شخصية. في الآونة الأخيرة، بدأت مفاهيم جديدة في مجال النمذجة ثلاثية الأبعاد بالظهور. ومن التقنيات الحديثة التي تختلف عن التقنيات التقليدية، تقنية النمذجة المُتحكَّم بها بالمنحنيات ^{[ 3 ]} ، والتي تُركِّز على نمذجة حركة الجسم ثلاثي الأبعاد بدلًا من النمذجة التقليدية للشكل الثابت.
• تُستخدم الرسوم المتحركة القائمة على العظام على نطاق واسع في الألعاب. يتراوح عدد العظام المستخدمة في إعداد الرسوم المتحركة من بضع عظام إلى ما يقارب المئة، مما يسمح بتجسيد جميع تعابير الوجه الدقيقة. من أهم مزايا هذه الرسوم إمكانية استخدام نفس الحركة لشخصيات مختلفة طالما أن شكل وجوهها متشابه، بالإضافة إلى أنها لا تتطلب تحميل جميع بيانات تحويل الشكل في الذاكرة . تدعم محركات الألعاب ثلاثية الأبعاد الرسوم المتحركة القائمة على العظام على نطاق واسع، ويمكن استخدامها في الرسوم المتحركة ثنائية وثلاثية الأبعاد. على سبيل المثال، من الممكن تجهيز وتحريك شخصية ثنائية الأبعاد باستخدام العظام في برنامج أدوبي فلاش .

• تستخدم الرسوم المتحركة القائمة على النسيج ألوان البكسل لإنشاء الحركة على وجه الشخصية. تعتمد الرسوم المتحركة ثنائية الأبعاد للوجه عادةً على تحويل الصور، بما في ذلك الصور الثابتة ومقاطع الفيديو. يُعدّ تحويل الصور تقنية تسمح بإنشاء صور انتقالية بين صورتين ثابتتين أو بين إطارات من مقاطع فيديو. تتكون تقنيات التحويل هذه عادةً من مزيج من تقنية تشويه هندسي، تعمل على محاذاة الصور المستهدفة، وتقنية التلاشي التدريجي التي تُنشئ انتقالًا سلسًا في نسيج الصورة. يمكن رؤية مثال مبكر على تحويل الصور في فيديو مايكل جاكسون لأغنية "أسود أو أبيض". في الرسوم المتحركة ثلاثية الأبعاد، يمكن تحقيق الرسوم المتحركة القائمة على النسيج من خلال تحريك النسيج نفسه أو رسم خرائط الأشعة فوق البنفسجية. في الحالة الأخيرة، يتم إنشاء خريطة نسيج لجميع تعابير الوجه، وتُستخدم حركة خريطة الأشعة فوق البنفسجية للانتقال من تعبير إلى آخر.
• تُشكّل النماذج الفيزيولوجية ، مثل أنظمة العضلات الهيكلية ونماذج الرأس القائمة على الفيزياء، منهجًا آخر في نمذجة الرأس والوجه .[ ^{4 ] في} هذا المنهج ، تُحاكى الخصائصالفيزيائية والتشريحية للعظام والأنسجة والجلد لإضفاء مظهر واقعي (مثل المرونة الشبيهة بالزنبرك ). قد تكون هذه الأساليب فعّالة للغاية في خلق الواقعية ،إلا أن تعقيد هياكل الوجه يجعلها مكلفة حسابيًا وصعبة التنفيذ. وبالنظر إلى فعالية النماذج المُعَلمة لأغراض التواصل (كما هو موضح في القسم التالي)، يُمكن القول إن النماذج القائمة على الفيزياء ليست خيارًا مثاليًا في العديد من التطبيقات. مع ذلك، لا يُنكر هذا مزايا النماذج القائمة على الفيزياء، وإمكانية استخدامها ضمن سياق النماذج المُعَلمة لتوفير تفاصيل محلية عند الحاجة.