تقنية الفيديو

الموسوعة الحرة

تقنية فصل الفيديو هي أسلوب لفصل الفيديو إلى طبقتين أو أكثر، عادةً ما تكون طبقة أمامية وخلفية، وإنشاء قنوات ألفا تحدد كيفية مزج الطبقات. تحظى هذه التقنية بشعبية كبيرة في تحرير الفيديو لأنها تسمح باستبدال الخلفية أو معالجة الطبقات بشكل فردي.

أساليب حجب الفيديو

تعريف المشكلة

عند دمج صورتين، تُستخدم قناع ألفا ، المعروف أيضًا بخريطة الشفافية. في حالة الفيديو الرقمي، يكون قناع ألفا عبارة عن سلسلة من الصور. يمكن أن يعمل القناع كقناع ثنائي، يحدد أجزاء الصورة المرئية. في الحالات الأكثر تعقيدًا، يُمكّن من المزج السلس للصور، حيث يُستخدم قناع ألفا كخريطة شفافية للصورة العلوية. عرفت صناعة الأفلام تقنية قناع ألفا منذ بداياتها. كانت الأقنعة تُرسَم يدويًا. أما اليوم، فيمكن أتمتة هذه العملية باستخدام خوارزميات الحاسوب.

من اليسار إلى اليمين: صورة الإدخال، الخلفية، المقدمة، وقناع ألفا.

تُعرَّف مشكلة التحديد الأساسية على النحو التالي: بالنظر إلى صورةأنا{\displaystyle I}، احسب المقدمةF{\displaystyle F}، خلفيةب{\displaystyle B}و ألفا ماتأ{\displaystyle A}بحيث تكون المعادلةأنا=أF+(1-أ)ب{\displaystyle I=AF+(1-A)B}هذا صحيح. هذه المعادلة لها حل بديهيأ=1{\displaystyle A=1}،F=أنا{\displaystyle F=I}،ب{\displaystyle B}أي صورة. لذا، عادةً ما يجب توفير خريطة ثلاثية إضافية كمدخل. تحدد الخريطة الثلاثية الخلفية والمقدمة والبكسلات غير المحددة، والتي سيتم تقسيمها إلى مقدمة وخلفية بواسطة طريقة التحديد.

تتمثل المعايير الرئيسية لأساليب تحديد الفيديو من وجهة نظر المستخدم فيما يلي:

  • معالجة دقيقة للحواف
  • استقرار الوقت
  • الحد الأدنى من تدخل المستخدم
تُستخدم خريطة الألوان الثلاثية (أسفل) كدليل لتقدير قناع ألفا. تمثل البكسلات البيضاء المقدمة، والبكسلات السوداء الخلفية، أما البكسلات الرمادية فلم يتم تقديرها بعد. تأخذ خوارزميات القناع الإطار الكامل (أعلى) وخريطة الألوان الثلاثية كمدخلات لإنتاج قناع ألفا (وسط).

الأساليب القائمة على التعلم

تعتمد أساليب التعلم العميق على تعلم توزيع المحتوى المرئي من البيانات، واستخدام تلك المعرفة لتحرير الفيديو.

تم تطوير طريقة مبكرة للتعلم العميق [ 1 ] لتحديد حواف الصور في عام 2017، والتي تفوقت على معظم الطرق التقليدية. [ 2 ]

قام مشروع OmniMatte [ 3 ] بتوسيع نطاق مشكلة تحديد حواف الفيديو لتشمل ربط العناصر الظاهرة في الفيديو بتأثيراتها الخارجية: الظلال، والانعكاسات، وتشوهات البيئة. وقد أظهروا أنه يمكن تدريب نموذج لفصل فيديو معين إلى طبقات OmniMatte الخاصة به.

أظهر نموذج GenerativeOmniMatte [ 4 ] كيف يمكن إنجاز المهمة باستخدام بيانات أقل بكثير من خلال ضبط نموذج انتشار الفيديو التوليدي بدقة. وقد تعلم هذا النموذج بالفعل توزيع محتوى الفيديو لغرض توليد مقاطع الفيديو.

وأخيرًا، أظهر OmniMatteZero [ 5 ] أن الفصل إلى طبقات onimatte لا يتطلب تدريبًا على الإطلاق، ولكن يمكن تحقيقه باستخدام التمثيل الداخلي لنموذج تحويل النص إلى فيديو المدرب مسبقًا.

أساليب التعلم غير المباشر

تم تطوير أول طريقة معروفة لتحديد الفيديو [ 6 ] في عام 2001. تستخدم هذه الطريقة التدفق البصري لنشر الخريطة الثلاثية وتقنية تحديد الصور البايزية التي يتم تطبيقها على كل صورة على حدة.

تم تطوير أداة Video SnapCut [ 7 ] ، التي أُدمجت لاحقًا في برنامج Adobe After Effects كأداة Roto Brush، في عام 2009. تعتمد هذه الطريقة على استخدام مصنفات محلية لتقسيم الصور الثنائية بالقرب من حدود الكائن المستهدف. تُنقل نتائج التقسيم إلى الإطار التالي باستخدام التدفق البصري، ويُطبق عليها خوارزمية لفصل أجزاء الصورة [ 8 ] .

أُدرجت طريقة [ 9 ] من عام 2011 في برنامج Adobe After Effects كأداة "تحسين الحواف". وقد تم تحسين انتشار خريطة التثليث باستخدام التدفق البصري من خلال نقاط تحكم على طول حافة الكائن. تستخدم هذه الطريقة تقنية الفصل لكل صورة، ولكن تم تحسين التماسك الزمني باستخدام مرشح زمني.

المقارنة المعيارية

يُعدّ فصل الفيديو مجالًا سريع التطور وله تطبيقات عملية عديدة. مع ذلك، ولتقييم جودة الطرق المستخدمة، لا بدّ من اختبارها على معيار مرجعي. يتألف هذا المعيار من مجموعة بيانات تتضمن تسلسلات اختبارية ومنهجية لمقارنة النتائج. يوجد حاليًا معيار مرجعي رئيسي واحد لفصل الفيديو على الإنترنت [ 2 ] ، يستخدم مفتاح اللون وتقنية إيقاف الحركة لتقدير الدقة . بعد تقديم الطريقة، يُستخلص تقييم كل طريقة من مقاييس موضوعية. ولأن هذه المقاييس لا تعكس الإدراك البشري للجودة، فمن الضروري إجراء استطلاع رأي شخصي لتوفير مقارنة دقيقة.

أفضل 5 طرق لعزل الفيديو [ 2 ]
طريقةسنة التطويرالمراكز
تقنية تحديد الصور العميقة [ 6 ]20161
ذاتي التكيف [ 10 ]20162
التعلم القائم على [ 11 ]20093
أخذ العينات المتفرقة [ 12 ]20164
الصيغة المغلقة [ 8 ]20085

الاستخدام العملي

شكل مقطوع

تُعدّ تقنيات قصّ الفيديو ضرورية في برامج تحرير الفيديو. ويتمثل التطبيق الأكثر شيوعًا في قصّ ونقل عنصر إلى مشهد آخر. تُمكّن هذه الأداة المستخدمين من قصّ عنصر متحرك عن طريق تحديد المناطق التي يجب أن تنتمي إلى العنصر أو لا تنتمي إليه، أو عن طريق تحديد خرائط القصّ الكاملة كمدخلات. وتوجد العديد من تطبيقات البرامج لهذه التقنية.

  • نظام قص الفيديو التفاعلي [ 13 ]
  • أداة Rotobrush في برنامج Adobe After Effects [ 7 ]
  • أداة تحسين الحواف في برنامج Adobe After Effects [ 9 ]
  • إضافة YUVSoft Matting لبرنامج Adobe After Effects [ 14 ]

لتحسين سرعة وجودة عملية تحديد الحواف، تستخدم بعض الطرق بيانات إضافية. على سبيل المثال، تم استكشاف كاميرات قياس زمن الرحلة في أنظمة تحديد الحواف في الوقت الحقيقي. [ 15 ]

استبدال الخلفية

من التطبيقات الأخرى لتقنية فصل الفيديو، فصل الخلفية، وهو شائع جدًا في مكالمات الفيديو عبر الإنترنت. وقد طُوِّرَت إضافةٌ لبرنامج زووم [ 16 ] ، وأعلنت سكايب عن ميزة استبدال الخلفية في يونيو 2020 [ 17 ] . كما تتيح طرق فصل الفيديو تطبيق تأثيرات الفيديو على الخلفية أو المقدمة فقط.

تحرير الفيديو ثلاثي الأبعاد

يُعدّ تحديد نطاق الفيديو أمرًا بالغ الأهمية في تحويل الصور من ثنائية الأبعاد إلى ثلاثية الأبعاد ، حيث تُستخدم قناع ألفا لمعالجة الأجسام الشفافة بشكل صحيح. كما يُستخدم أيضًا في تحويل الصور المجسمة إلى متعددة المشاهد.

إكمال الفيديو

يرتبط استكمال الفيديو ارتباطًا وثيقًا بعملية الفصل [ 18 ]، وذلك بعد إزالة عنصر من الفيديو. فبينما يُستخدم الفصل لتقسيم الفيديو إلى عدة طبقات، يسمح الاستكمال بملء الفراغات بمحتويات مناسبة من الفيديو بعد إزالة إحدى الطبقات.

انظر أيضاً

مراجع

  1. ↑ شو، نينغ؛ برايس، برايان؛ كوهين، سكوت؛ هوانغ، توماس (2017). "تقنية تحديد الصور العميقة". مؤتمر IEEE لعام 2017 حول رؤية الحاسوب والتعرف على الأنماط (CVPR) . الصفحات 311-320 . doi : 10.1109/CVPR.2017.41 . ISBN  978-1-5386-0457-1. S2CID 14061786 . 
  2. 1 2 3 إيروفيف، ميخائيل؛ غيتمان، يوري؛ فاتولين، ديمتري؛ فيدوروف، أليكسي؛ وانغ، جو (2015). "معيار مُحفَّز إدراكيًا لتقنية دمج الفيديو" . وقائع المؤتمر البريطاني لرؤية الآلة 2015. الصفحات 99.1-99.12 . doi : 10.5244/ C.29.99 . ISBN  978-1-901725-53-7.
  3. ^ لو، إريكا؛ كول، فوريستر. ديكل، تالي؛ سيسرمان، أندرو؛ فريمان، وليام T.؛ روبنشتاين، مايكل (2021-10-01)، Omnimatte: ربط الكائنات وتأثيراتها في الفيديو ، أرخايف : 2105.06993
  4. ↑ لي، ياو-تشيه؛ لو، إريكا؛ رامبلي، سارة؛ غيير، ميشال؛ هوانغ، جيا-بين؛ ديكل، تالي؛ كول، فورستر (24-03-2025)، أومني مات التوليدي: تعلم تحليل الفيديو إلى طبقات ، arXiv : 2411.16683
  5. ^ صموئيل، دفير. ليفي، ماتان؛ دارشان، نير؛ شيشيك، غال؛ بن آري، رامي (05/06/2025)، OmnimatteZero: Omnimatte سريع بدون تدريب مع نماذج نشر فيديو مدربة مسبقًا ، أرخايف : 2503.18033
  6. 1 2 تشوانغ، يونغ يو؛ أغاروالا، أسيم؛ كورليس، برايان؛ ساليسين، ديفيد هـ.؛ سزيليسكي، ريتشارد (2002). "تظليل الفيديو للمشاهد المعقدة". معاملات ACM في الرسومات . 21 (3): 243-248 . doi : 10.1145/566654.566572 . ISSN 0730-0301 . 
  7. 1 2 باي، شو؛ وانغ، جو؛ سيمونز، ديفيد؛ سابيرو، غييرمو (2009). "Video SnapCut" . معاملات ACM في الرسومات . 28 (3): 1-11 . doi : 10.1145/1531326.1531376 . ISSN 0730-0301 . 
  8. 1 2 ليفين، أ.؛ ليشنسكي، د.؛ فايس، ي. (2008). "حل مغلق الشكل لتقنية إخفاء الصور الطبيعية". معاملات IEEE في تحليل الأنماط والذكاء الآلي . 30 (2): 228-242 . Bibcode : 2008ITPAM..30..228L . doi : 10.1109/TPAMI.2007.1177 . ISSN 0162-8828 . PMID 18084055 .  
  9. 1 2 باي، شو؛ وانغ، جو؛ سيمونز، ديفيد (2011). "نحو تقنية دمج الفيديو المتماسك زمنيًا". تقنيات التعاون في مجال رؤية الحاسوب/رسومات الحاسوب . سلسلة محاضرات في علوم الحاسوب. المجلد 6930. الصفحات 63-74 . doi : 10.1007/978-3-642-24136-9_6 . ISBN   978-3-642-24135-2ISSN 0302-9743​​ 
  10. ↑ كاو، غوانغينغ؛ لي، جيانوي؛ تشين، شياووو؛ هي، تشي تشيانغ (2017). "تقنية التحديد التكيفي الذاتي القائمة على الرقع للصور والفيديوهات عالية الدقة". مجلة الحوسبة المرئية . 35 (1): 133-147 . doi : 10.1007/s00371-017-1424-3 . ISSN 0178-2789 . S2CID 24625947 .  
  11. ↑ كامبهاميتو، تشاندرا (2009). "الرسم الرقمي القائم على التعلم". المؤتمر الدولي الثاني عشر لـ IEEE حول رؤية الحاسوب، 2009. IEEE. الصفحات 889-896 . doi : 10.1109/iccv.2009.5459326 . ISBN  978-1-4244-4420-5.
  12. ↑ كاراجان، ليفنت؛ إردم، أيكوت؛ إردم، إركوت (2015). "تحديد الصور باستخدام أخذ العينات المتفرقة القائم على تباعد كولباك-لايبير". المؤتمر الدولي لهندسة الكهرباء والإلكترونيات (IEEE) حول رؤية الحاسوب (ICCV) لعام 2015. الصفحات 424-432 . doi : 10.1109/ICCV.2015.56 . ISBN  978-1-4673-8391-2. S2CID 2174306 . 
  13. ↑ وانغ، جو؛ بهات، برافين؛ كولبورن، ر. أليكس؛ أغراوالا، مانيش؛ كوهين، مايكل ف. (2005). "قص ولصق الفيديو التفاعلي" . معاملات ACM في الرسومات . 24 (3): 585-594 . doi : 10.1145/1073204.1073233 . ISSN 0730-0301 . 
  14. ↑ "إضافة Matting لبرنامج Adobe After Effects" . تم الاطلاع عليه بتاريخ 2021-03-02 .
  15. ↑ وانغ، ليانغ؛ غونغ، مينغلون؛ تشانغ، تشنشي؛ يانغ، رويغانغ؛ تشانغ، تشا؛ يانغ، يي-هونغ (15-06-2011). "المعالجة التلقائية للفيديو في الوقت الحقيقي باستخدام كاميرا زمن الرحلة ومعادلات بواسون متعددة القنوات". المجلة الدولية لرؤية الحاسوب . 97 (1). سبرينغر ساينس آند بيزنس ميديا ​​ذ.م.م: 104-121 . doi : 10.1007/s11263-011-0471-x . ISSN 0920-5691 . S2CID 255108880 .  
  16. ↑ "تقنية تحديد الخلفية عالية الدقة في الوقت الحقيقي" . تم الاطلاع عليه بتاريخ 2021-03-02 .
  17. ↑ "تقديم ميزة استبدال الخلفية في سكايب" . تم الاطلاع عليه بتاريخ 2021-03-02 .
  18. ↑ "معيار إكمال الفيديو" . تم الاطلاع عليه بتاريخ 10-03-2021 .