التقاط حركة الوجه

التقاط حركة الوجه هو عملية تحويل حركات وجه الشخص إلكترونيًا إلى قاعدة بيانات رقمية باستخدام الكاميرات أو الماسحات الضوئية بالليزر . يمكن بعد ذلك استخدام قاعدة البيانات هذه لإنتاج رسومات الكمبيوتر (CG) أو الرسوم المتحركة بالكمبيوتر للأفلام أو الألعاب أو الصور الرمزية في الوقت الفعلي. نظرًا لأن حركة الشخصيات المرسومة بالكمبيوتر مستمدة من حركات الأشخاص الحقيقيين، فإنها تؤدي إلى رسوم متحركة أكثر واقعية ودقة لشخصيات الكمبيوتر مما لو تم إنشاء الرسوم المتحركة يدويًا.

تصف قاعدة بيانات التقاط حركة الوجه إحداثيات أو مواضع نسبية لنقاط مرجعية على وجه الممثل. قد يكون الالتقاط في بعدين، وفي هذه الحالة تسمى عملية الالتقاط أحيانًا " تتبع التعبيرات "، أو في ثلاثة أبعاد. يمكن تحقيق الالتقاط ثنائي الأبعاد باستخدام كاميرا واحدة وبرنامج التقاط. ينتج عن هذا تتبع أقل تعقيدًا، ولا يمكنه التقاط الحركات ثلاثية الأبعاد بالكامل مثل دوران الرأس. يتم إنجاز الالتقاط ثلاثي الأبعاد باستخدام منصات متعددة الكاميرات أو نظام علامات الليزر. عادة ما تكون مثل هذه الأنظمة أكثر تكلفة وتعقيدًا وتستغرق وقتًا طويلاً في الاستخدام. توجد تقنيتان سائدتان: أنظمة التتبع بالعلامات وأنظمة التتبع بدون علامات.

يرتبط التقاط حركة الوجه بالتقاط حركة الجسم، ولكنه أكثر تحديًا بسبب متطلبات الدقة الأعلى للكشف عن وتتبع التعبيرات الدقيقة المحتملة من الحركات الصغيرة للعينين والشفتين. غالبًا ما تكون هذه الحركات أقل من بضعة ملليمترات، مما يتطلب دقة ودقة أكبر وتقنيات تصفية مختلفة عن تلك المستخدمة عادةً في التقاط الجسم بالكامل. تتيح القيود الإضافية للوجه أيضًا المزيد من الفرص لاستخدام النماذج والقواعد.

إن التقاط تعبيرات الوجه يشبه التقاط حركة الوجه. إنها عملية استخدام وسائل بصرية أو ميكانيكية للتلاعب بالشخصيات التي يولدها الكمبيوتر باستخدام مدخلات من الوجوه البشرية ، أو للتعرف على مشاعر المستخدم.

هذا القسم يحتاج إلى التحديث . الرجاء المساعدة في تحديث هذه المقالة لتعكس الأحداث الأخيرة أو المعلومات المتوفرة حديثًا. ( سبتمبر 2019 )

نُشرت إحدى أولى الأوراق البحثية التي ناقشت الرسوم المتحركة التي تعتمد على الأداء بواسطة لانس ويليامز في عام 1990. حيث وصف "وسيلة للحصول على تعبيرات الوجوه الحقيقية وتطبيقها على الوجوه التي تم إنشاؤها بواسطة الكمبيوتر". ^[1]

تطبق الأنظمة التقليدية القائمة على العلامات ما يصل إلى 350 علامة على وجوه الممثلين وتتبع حركة العلامة بكاميرات عالية الدقة . وقد تم استخدام هذا في أفلام مثل The Polar Express و Beowulf للسماح لممثل مثل توم هانكس بتوجيه تعابير الوجه لعدة شخصيات مختلفة. لسوء الحظ، يعد هذا مرهقًا نسبيًا ويجعل تعابير الممثلين مدفوعة بشكل مفرط بمجرد حدوث التنعيم والتصفية. تستخدم أنظمة الجيل التالي مثل CaptiveMotion فروعًا من النظام التقليدي القائم على العلامات بمستويات أعلى من التفاصيل.

يتم حاليًا استخدام تقنية Active LED Marker لتوجيه الرسوم المتحركة للوجه في الوقت الفعلي لتوفير تعليقات المستخدم.

تستخدم التقنيات الخالية من العلامات ملامح الوجه مثل فتحات الأنف وزوايا الشفاه والعينين والتجاعيد ثم تتبعها. تمت مناقشة هذه التقنية وإظهارها في جامعة كارنيجي ميلون [ ^2] وشركة آي بي إم ^[3] وجامعة مانشستر (حيث بدأ الكثير من هذا مع تيم كوتس ^[4] وجاريث إدواردز وكريس تايلور) ومواقع أخرى، باستخدام نماذج المظهر النشط وتحليل المكونات الأساسية وتتبع القيم الذاتية ونماذج الأسطح القابلة للتشوه وغيرها من التقنيات لتتبع ملامح الوجه المطلوبة من إطار إلى إطار. هذه التقنية أقل صعوبة بكثير، وتسمح بتعبير أكبر للممثل.

تتمتع هذه الأساليب القائمة على الرؤية أيضًا بالقدرة على تتبع حركة حدقة العين والجفون وإطباق الأسنان بواسطة الشفتين واللسان، وهي مشكلات واضحة في معظم الرسوم المتحركة التي يتم عرضها بالكمبيوتر. ومن بين القيود النموذجية للأساليب القائمة على الرؤية الدقة ومعدل الإطارات، وكلاهما يتناقص مع توافر مشكلات مثل كاميرات CMOS عالية السرعة وعالية الدقة من مصادر متعددة.

ترتبط تقنية تتبع الوجه بدون علامات بتلك الموجودة في نظام التعرف على الوجه ، حيث يمكن تطبيق نظام التعرف على الوجه بشكل متسلسل على كل إطار من الفيديو، مما يؤدي إلى تتبع الوجه. على سبيل المثال، سمح نظام Neven Vision ^[5] (المعروف سابقًا باسم Eyematics، والذي استحوذت عليه Google الآن) بتتبع الوجه ثنائي الأبعاد في الوقت الفعلي دون تدريب خاص بالشخص؛ وكان نظامهم أيضًا من بين أفضل أنظمة التعرف على الوجه أداءً في اختبار بائع التعرف على الوجه (FRVT) الذي أجرته حكومة الولايات المتحدة عام 2002. من ناحية أخرى، لا تتبع بعض أنظمة التعرف التعبيرات صراحةً أو تفشل حتى في التعبيرات غير المحايدة، وبالتالي فهي غير مناسبة للتتبع. وعلى العكس من ذلك، تجمع أنظمة مثل نماذج السطح القابلة للتشوه المعلومات الزمنية لإزالة الغموض والحصول على نتائج أكثر قوة، وبالتالي لا يمكن تطبيقها من صورة واحدة.

لقد تطور تتبع الوجه بدون علامات إلى أنظمة تجارية مثل Image Metrics ، والتي تم تطبيقها في أفلام مثل سلسلة The Matrix ^[6] و The Curious Case of Benjamin Button . استخدم الأخير نظام Mova لالتقاط نموذج وجه قابل للتشوه، والذي تم تحريكه بعد ذلك بمزيج من التتبع اليدوي والبصري. ^{[7] كان} Avatar فيلمًا بارزًا آخر لالتقاط الأداء، ومع ذلك فقد استخدم علامات مرسومة بدلاً من كونه بدون علامات. Dynamixyz ^{[ رابط ميت دائم ]} هو نظام تجاري آخر قيد الاستخدام حاليًا.

يمكن تصنيف الأنظمة الخالية من العلامات وفقًا لعدة معايير مميزة:

• التتبع ثنائي الأبعاد مقابل التتبع ثلاثي الأبعاد
• سواء كان التدريب المخصص للشخص أو المساعدة البشرية الأخرى مطلوبًا
• الأداء في الوقت الفعلي (والذي لا يكون ممكنًا إلا إذا لم يكن هناك حاجة إلى تدريب أو إشراف)
• سواء كانوا بحاجة إلى مصدر إضافي للمعلومات مثل الأنماط المتوقعة أو الطلاء غير المرئي مثل المستخدم في نظام Mova.

حتى الآن، لا يوجد نظام مثالي فيما يتعلق بكل هذه المعايير. على سبيل المثال، كان نظام Neven Vision آليًا بالكامل ولم يتطلب أي أنماط مخفية أو تدريب لكل شخص، ولكنه كان ثنائي الأبعاد. نظام Face/Off ^[8] ثلاثي الأبعاد، آلي، وفي الوقت الفعلي ولكنه يتطلب أنماطًا متوقعة.

أصبحت الطرق المعتمدة على الفيديو الرقمي مفضلة بشكل متزايد، حيث تميل الأنظمة الميكانيكية إلى أن تكون مرهقة ويصعب استخدامها.

باستخدام الكاميرات الرقمية ، تتم معالجة تعبيرات المستخدم المدخلة لتوفير وضع الرأس ، مما يسمح للبرنامج بعد ذلك بالعثور على العينين والأنف والفم. يتم معايرة الوجه في البداية باستخدام تعبير محايد. ثم اعتمادًا على البنية، يمكن معالجة الحواجب والجفون والخدين والفم على أنها اختلافات عن التعبير المحايد. يتم ذلك من خلال البحث عن حواف الشفاه على سبيل المثال والتعرف عليها ككائن فريد. غالبًا ما يتم ارتداء مكياج أو علامات لتعزيز التباين، أو بعض الطرق الأخرى لجعل المعالجة أسرع. مثل التعرف على الصوت، فإن أفضل التقنيات جيدة بنسبة 90 بالمائة فقط من الوقت، مما يتطلب قدرًا كبيرًا من التعديل باليد، أو التسامح مع الأخطاء.

نظرًا لأن الشخصيات التي يتم إنشاؤها بواسطة الكمبيوتر لا تحتوي على عضلات في الواقع ، يتم استخدام تقنيات مختلفة لتحقيق نفس النتائج. يقوم بعض الرسامين المتحركين بإنشاء عظام أو أشياء يتم التحكم فيها بواسطة برنامج الالتقاط، وتحريكها وفقًا لذلك، وعندما يتم تجهيز الشخصية بشكل صحيح، فإنه يعطي تقريبًا جيدًا. نظرًا لأن الوجوه مرنة للغاية، غالبًا ما يتم خلط هذه التقنية مع تقنيات أخرى، مع ضبط الأوزان بشكل مختلف لمرونة الجلد وعوامل أخرى حسب التعبيرات المطلوبة.

تعمل العديد من الشركات التجارية على تطوير منتجات تم استخدامها، ولكنها باهظة الثمن إلى حد ما. ^{[ بحاجة لمصدر ]}

ومن المتوقع أن يصبح هذا جهاز إدخال رئيسي لألعاب الكمبيوتر بمجرد توفر البرنامج بتنسيق مناسب، ولكن الأجهزة والبرامج غير موجودة بعد، على الرغم من الأبحاث التي أجريت على مدى السنوات الخمس عشرة الماضية والتي أنتجت نتائج قابلة للاستخدام تقريبًا. ^{[ بحاجة لمصدر ]}

كان أول تطبيق تم تبنيه على نطاق واسع هو الاتصالات. في البداية كان هناك مكالمات الفيديو والرسائل المتعددة الوسائط، ثم لاحقًا في مجال الواقع المختلط ثلاثي الأبعاد.

مع تقدم التعلم الآلي وقوة الحوسبة وأجهزة الاستشعار المتقدمة، وخاصة على الهواتف المحمولة، أصبحت تقنية التقاط حركة الوجه متاحة على نطاق واسع. ومن الأمثلة البارزة ميزة عدسة Snapchat وMemoji من Apple ^[9] التي يمكن استخدامها لتسجيل الرسائل باستخدام الصور الرمزية أو البث المباشر عبر تطبيق FaceTime . مع هذه التطبيقات (والعديد من التطبيقات الأخرى)، أصبحت معظم الهواتف المحمولة الحديثة اليوم قادرة على إجراء التقاط حركة الوجه في الوقت الفعلي! وفي الآونة الأخيرة، تم تقديم التقاط حركة الوجه في الوقت الفعلي، جنبًا إلى جنب مع الصور الرمزية ثلاثية الأبعاد الواقعية لتمكين الاتصال الغامر في الواقع المختلط (MR) والواقع الافتراضي (VR). أظهرت Meta صور Codec Avatars الخاصة بها للتواصل عبر سماعة الرأس MR Meta Quest Pro لتسجيل بودكاست مع مشاركين عن بُعد. ^[10] تدعم سماعة الرأس MR من Apple Apple Vision Pro أيضًا التقاط حركة الوجه في الوقت الفعلي والذي يمكن استخدامه مع تطبيقات مثل FaceTime . تعطي تطبيقات الاتصال في الوقت الفعلي الأولوية لزمن انتقال منخفض لتسهيل المحادثة الطبيعية وسهولة الاستخدام، بهدف جعل التكنولوجيا في متناول جمهور عريض. قد تحد هذه الاعتبارات من دقة التقاط الحركة.

• تتبع العين
• رسوم متحركة للوجه بالكمبيوتر
• ديب فيك
• نظام التعرف على الوجه
• نظام ترميز حركات الوجه
• الوادي الغريب

• جامعة كارنيجي ميلون
• جامعة دلفت للتكنولوجيا
• إنتل
• شيفيلد وأوتاجو