استيعاب البيانات

الغلاف الجوي سائل . تقوم فكرة التنبؤ العددي بالطقس على أخذ عينات من حالة هذا السائل في وقت محدد، واستخدام معادلات ديناميكا الموائع والديناميكا الحرارية لتقدير حالته في وقت لاحق. تُسمى عملية إدخال بيانات الرصد في النموذج لتوليد الشروط الأولية بالتهيئة . على اليابسة، تُستخدم خرائط التضاريس المتوفرة بدقة تصل إلى كيلومتر واحد (0.6 ميل) عالميًا للمساعدة في نمذجة دورات الغلاف الجوي في المناطق ذات التضاريس الوعرة، وذلك لتحسين تصوير خصائص مثل الرياح الهابطة، والأمواج الجبلية ، والغيوم المرتبطة بها والتي تؤثر على الإشعاع الشمسي الوارد. ^{[ 2 ]} تتمثل المدخلات الرئيسية من خدمات الأرصاد الجوية الوطنية في رصدات من أجهزة (تُسمى المجسات الراديوية ) في بالونات الأرصاد الجوية، والتي تقيس معايير جوية مختلفة وتنقلها إلى جهاز استقبال ثابت، بالإضافة إلى بيانات من أقمار الأرصاد الجوية . تعمل المنظمة العالمية للأرصاد الجوية على توحيد الأجهزة، وممارسات الرصد، وتوقيت هذه الرصدات على مستوى العالم. تُقدّم المحطات تقاريرها إما كل ساعة في تقارير METAR ، ^{[ 3 ]} أو كل ست ساعات في تقارير SYNOP . ^{[ 4 ]} ونظرًا لعدم انتظام فترات هذه الرصدات، تُعالَج البيانات باستخدام أساليب دمج البيانات والتحليل الموضوعي، التي تُجري مراقبة الجودة وتُحدّد القيم في المواقع التي يُمكن استخدامها بواسطة الخوارزميات الرياضية للنموذج. ^{[ 5 ]} تستخدم بعض النماذج العالمية الفروق المحدودة ، حيث يُمثَّل العالم بنقاط منفصلة على شبكة منتظمة من خطوط الطول والعرض؛ ^{[ 6 ]} بينما تستخدم نماذج أخرى أساليب طيفية تُحلّل نطاقًا من الأطوال الموجية. ثم تُستخدم البيانات في النموذج كنقطة بداية للتنبؤ. ^{[ 7 ]} 

تُستخدم طرق متنوعة لجمع البيانات الرصدية لاستخدامها في النماذج العددية. تُطلق المواقع مجسات راديوية في بالونات طقس ترتفع عبر طبقة التروبوسفير وصولًا إلى طبقة الستراتوسفير . ^{[ 8 ]} وتُستخدَم معلومات الأقمار الصناعية للأرصاد الجوية عندما لا تتوفر مصادر البيانات التقليدية. تُقدّم وزارة التجارة تقارير الطيارين على طول مسارات الطائرات ^{[ 9 ]} وتقارير السفن على طول مسارات الشحن. ^{[ 10 ]} تستخدم المشاريع البحثية طائرات استطلاع للتحليق داخل وحول الأنظمة الجوية ذات الأهمية، مثل الأعاصير المدارية . ^{[ 11 ] [ 12 ]} كما تُحلّق طائرات الاستطلاع فوق المحيطات المفتوحة خلال فصل الشتاء في الأنظمة التي تُسبّب قدرًا كبيرًا من عدم اليقين في توجيهات التنبؤ، أو يُتوقع أن يكون لها تأثير كبير على القارة الواقعة في اتجاه مجرى النهر خلال الفترة من ثلاثة إلى سبعة أيام. ^{[ 13 ]} بدأ إدخال الجليد البحري في نماذج التنبؤ في عام 1971. ^{[ 14 ]} بدأت الجهود لإدراج درجة حرارة سطح البحر في تهيئة النموذج في عام 1972 نظرًا لدورها في تعديل الطقس في خطوط العرض العليا من المحيط الهادئ. ^{[ 15 ]}

في عام ١٩٢٢، نشر لويس فراي ريتشاردسون أول محاولة للتنبؤ بالطقس عدديًا. باستخدام صيغة هيدروستاتيكية معدلة من معادلات بيركنز الأساسية ، ^{[ ١٦ ]} أنتج ريتشاردسون يدويًا تنبؤًا لمدة ست ساعات لحالة الغلاف الجوي فوق نقطتين في وسط أوروبا، واستغرق ذلك ستة أسابيع على الأقل. ^{[ ١٧ ]} وقد حسب تنبؤه أن التغير في ضغط السطح سيكون ١٤٥ مليبار (٤.٣ بوصة زئبقية ) ، وهي قيمة غير واقعية، إذ بلغ الخطأ فيها رتبتين من حيث الحجم. وقد نتج هذا الخطأ الكبير عن عدم توازن في حقلي الضغط وسرعة الرياح المستخدمين كشروط ابتدائية في تحليله، ^{[ ١٦ ]} مما يشير إلى الحاجة إلى آلية لدمج البيانات. 

في البداية، استُخدم "التحليل الذاتي" الذي كان يُجرى فيه تعديل تنبؤات الطقس العددية (NWP) بواسطة خبراء الأرصاد الجوية باستخدام خبرتهم العملية. ثم طُرح "التحليل الموضوعي" (مثل خوارزمية كريسمان) لدمج البيانات آليًا. استخدمت هذه الأساليب الموضوعية طرق استيفاء بسيطة، وبالتالي كانت تُصنف ضمن أساليب دمج البيانات ثلاثية الأبعاد (3DDA).

لاحقًا، طُوِّرت طرق دمج البيانات رباعية الأبعاد (4DDA)، والتي تُعرف باسم "التوجيه"، كما هو الحال في نموذج MM5 . وتستند هذه الطرق إلى فكرة الاسترخاء النيوتني (البديهية الثانية لنيوتن). تُدخل هذه الطرق في الجزء الأيمن من المعادلات الديناميكية للنموذج حدًا يتناسب مع الفرق بين المتغير المناخي المحسوب والقيمة المرصودة. هذا الحد، ذو الإشارة السالبة، يُبقي متجه الحالة المحسوب أقرب إلى القيم المرصودة. يُمكن تفسير التوجيه على أنه شكل مُعدَّل من مرشح كالمان-بوسي (نسخة زمنية مستمرة من مرشح كالمان ) حيث تُحدد مصفوفة الكسب مسبقًا بدلًا من استخلاصها من التغايرات.

حقق ل. غاندين (1963) تطورًا هامًا عندما قدم طريقة "الاستيفاء الإحصائي" (أو "الاستيفاء الأمثل")، التي طورت أفكار كولموغوروف السابقة. تُعد هذه الطريقة من طرق تحليل البيانات ثلاثية الأبعاد، وهي نوع من تحليل الانحدار الذي يستخدم معلومات حول التوزيعات المكانية لدوال التغاير لأخطاء حقل "التخمين الأولي" (التنبؤ السابق) وحقل "القيمة الحقيقية". هذه الدوال غير معروفة أبدًا، ولكن تم افتراض تقريبات مختلفة لها.

إن خوارزمية الاستيفاء المثلى هي النسخة المختزلة من خوارزمية ترشيح كالمان (KF) والتي لا يتم فيها حساب مصفوفات التغاير من المعادلات الديناميكية ولكن يتم تحديدها مسبقًا.

جاءت محاولات إدخال خوارزميات مرشح كالمان كأداة لتحليل البيانات رباعي الأبعاد لنماذج التنبؤ العددي بالطقس لاحقًا. إلا أن هذه المهمة كانت (ولا تزال) صعبة، لأن النسخة الكاملة تتطلب حل عدد هائل من المعادلات الإضافية (حوالي N × N × 10¹²، حيث N = Nx × Ny × Nz هو حجم متجه الحالة، وNx ≈ 10⁰، وNy ≈ 10⁰، وNz ≈ 10⁰ هي أبعاد الشبكة الحسابية). وللتغلب على هذه الصعوبة، طُوّرت مرشحات كالمان تقريبية أو شبه مثالية، ومنها مرشح كالمان الجماعي ومرشح كالمان ذو الرتبة المنخفضة (RRSQRT). ^{[ 18 ]}

من التطورات الهامة الأخرى في تطوير أساليب تحليل البيانات رباعي الأبعاد (4DDA) استخدام نظرية التحكم الأمثل (النهج التبايني) في أعمال لو ديميت وتالاغراند (1986)، استنادًا إلى أعمال جيه-إل ليونز وجي مارشوك السابقة، حيث كان الأخير أول من طبق هذه النظرية في النمذجة البيئية. وتكمن الميزة الرئيسية للنهج التبايني في أن الحقول المناخية تُحقق المعادلات الديناميكية لنموذج التنبؤ العددي بالطقس، وفي الوقت نفسه تُقلل من الدالة التي تُميز اختلافها عن البيانات المرصودة. وبذلك، تُحل مشكلة التقليل المقيد. وقد طُوّرت أساليب تحليل البيانات ثلاثية الأبعاد (3DDA) التباينية لأول مرة على يد ساساكي (1958).

كما أوضح لورنس (1986)، فإن جميع طرق 4DDA المذكورة أعلاه متكافئة في بعض الحالات، أي أنها، في ظل بعض الافتراضات، تُقلل نفس دالة التكلفة . مع ذلك، في التطبيقات العملية، لا تتحقق هذه الافتراضات أبدًا، وتختلف الطرق في أدائها، وعمومًا ليس من الواضح أي نهج (ترشيح كالمان أو التبايني) هو الأفضل. كما تبرز تساؤلات جوهرية عند تطبيق تقنيات DA المتقدمة، مثل تقارب الطريقة الحسابية إلى الحد الأدنى العالمي للدالة المراد تقليلها. على سبيل المثال، قد لا تكون دالة التكلفة أو المجموعة التي يُبحث فيها عن الحل محدبة. تُعد طريقة 4DDA الهجينة التزايدية 4D-Var الأكثر نجاحًا حاليًا ^{[ 19 ] [ 20 ]} ، حيث تُستخدم مجموعة بيانات لزيادة تباينات خطأ الخلفية المناخية في بداية نافذة استيعاب البيانات، ولكن يتم تطوير تباينات خطأ الخلفية خلال هذه النافذة الزمنية بواسطة نسخة مبسطة من نموذج التنبؤ العددي للطقس. تُستخدم طريقة استيعاب البيانات هذه عمليًا في مراكز التنبؤ مثل مكتب الأرصاد الجوية . ^{[ 21 ] [ 22 ]}

غالبًا ما تتضمن عملية إنشاء التحليل في استيعاب البيانات تقليل دالة التكلفة . وتكون دالة التكلفة النموذجية هي مجموع مربعات انحرافات قيم التحليل عن الملاحظات، مُرجّحة بدقة الملاحظات، بالإضافة إلى مجموع مربعات انحرافات حقول التنبؤ والحقول المُحللة، مُرجّحة بدقة التنبؤ. ويضمن هذا عدم ابتعاد التحليل كثيرًا عن الملاحظات والتنبؤات المعروفة بموثوقيتها.

تشمل العوامل التي تدفع التطور السريع لأساليب استيعاب البيانات لنماذج التنبؤ العددي بالطقس ما يلي:

• إن استخدام الملاحظات الحالية يوفر تحسناً واعداً في مهارة التنبؤ على مجموعة متنوعة من المقاييس المكانية (من العالمية إلى المحلية للغاية) والمقاييس الزمنية.
• يتزايد عدد أنواع الملاحظات المتاحة المختلفة ( أجهزة قياس النظائر ، والرادارات ، والأقمار الصناعية ) بسرعة.

استُخدمت تقنية دمج البيانات، في ثمانينيات وتسعينيات القرن الماضي، في العديد من مشاريع HAPEX (التجربة التجريبية الهيدرولوجية والجوية) لرصد انتقال الطاقة بين التربة والنباتات والغلاف الجوي. على سبيل المثال:

- HAPEX-MobilHy ، ^{[ 24 ]} HAPEX-Sahel، ^{[ 25 ]}

- تجربة "Alpilles-ReSeDA" (استيعاب بيانات الاستشعار عن بُعد)، ^{[ 26 ] [ 27 ]} مشروع أوروبي ضمن برنامج FP4-ENV ^{[ 28 ]} نُفِّذ في منطقة ألبيل ، جنوب شرق فرنسا (1996-1997). يُظهر مخطط التدفق (على اليمين)، المقتبس من التقرير النهائي للمشروع، ^{[ 23 ]} كيفية استنتاج المتغيرات المهمة، مثل حالة الغطاء النباتي، والتدفقات الإشعاعية، والميزانية البيئية، والإنتاج الكمي والنوعي، من بيانات الاستشعار عن بُعد والمعلومات المساعدة. في هذا المخطط، تُشير الأسهم الصغيرة باللونين الأزرق والأخضر إلى الطريقة المباشرة التي تعمل بها النماذج فعليًا. ^{[ 29 ]}

تُستخدم أساليب استيعاب البيانات حاليًا أيضًا في مشاكل التنبؤ البيئي الأخرى، مثل التنبؤات الهيدرولوجية والهيدروجيولوجية. ^{[ 30 ]} كما يمكن استخدام الشبكات البايزية في نهج استيعاب البيانات لتقييم المخاطر الطبيعية مثل الانهيارات الأرضية. ^{[ 31 ]}

نظراً لوفرة بيانات المركبات الفضائية للكواكب الأخرى في المجموعة الشمسية ، يُطبَّق الآن دمج البيانات خارج كوكب الأرض لإعادة تحليل حالة الغلاف الجوي للكواكب الخارجية. يُعد المريخ الكوكب الخارجي الوحيد الذي طُبِّق عليه دمج البيانات حتى الآن. تشمل بيانات المركبات الفضائية المتاحة، على وجه الخصوص، بيانات درجة الحرارة والسماكة البصرية للغبار/الماء/الجليد من مطياف الانبعاث الحراري على متن مركبة ناسا " مارس غلوبال سيرفيور" ومقياس مناخ المريخ على متن مركبة ناسا " مارس ريكونيسانس أوربيتر" . طُبِّقت طريقتان لدمج البيانات على هذه المجموعات: مخطط تصحيح التحليل ^{[ 32 ]} ومخططان لمرشح كالمان الجماعي ^{[ 33 ] [ 34 ]،} وكلاهما يستخدم نموذج دوران عالمي للغلاف الجوي المريخي كنموذج أمامي. مجموعة بيانات دمج بيانات تصحيح تحليل المريخ (MACDA) متاحة للعموم من المركز البريطاني لبيانات الغلاف الجوي ^{[ 35 ] .}

يُعد استيعاب البيانات جزءًا من التحدي الذي يواجه كل مشكلة تنبؤ.

يُعدّ التعامل مع البيانات المتحيزة تحديًا كبيرًا في عملية دمج البيانات. وسيكون تطوير أساليب معالجة التحيزات مفيدًا للغاية. إذا كانت هناك عدة أجهزة تقيس المتغير نفسه، فإن مقارنتها باستخدام دوال التوزيع الاحتمالي قد تكون مفيدة.

بفضل زيادة القدرة الحاسوبية ، أصبحت نماذج التنبؤ العددي أكثر دقة، حيث تعمل النماذج الجوية التشغيلية الآن بدقة أفقية تصل إلى حوالي  كيلومتر واحد (كما هو الحال في الهيئة الوطنية الألمانية للأرصاد الجوية، وهيئة الأرصاد الجوية الألمانية DWD ، ومكتب الأرصاد الجوية البريطاني). وقد بدأت هذه الزيادة في الدقة الأفقية تسمح برصد المزيد من الخصائص الفوضوية للنماذج غير الخطية، مثل رصد الحمل الحراري على مستوى الشبكة، أو السحب، في النماذج الجوية. وتُشكل هذه اللاخطية المتزايدة في النماذج وعوامل الرصد تحديًا جديدًا في استيعاب البيانات. ويجري حاليًا تقييم أساليب استيعاب البيانات الحالية، مثل العديد من أنواع مرشحات كالمان الجماعية والأساليب التباينية، والتي أثبتت فعاليتها مع النماذج الخطية أو شبه الخطية، على النماذج غير الخطية.

يجري تطوير العديد من الأساليب الجديدة، مثل مرشحات الجسيمات للمشاكل عالية الأبعاد، وأساليب استيعاب البيانات الهجينة. ^{[ 36 ]}

وتشمل الاستخدامات الأخرى تقدير المسار لبرنامج أبولو ، ونظام تحديد المواقع العالمي (GPS) ، والكيمياء الجوية .