معادلة بيلمان

📅 آخر تحديث: ٣١ يوليو ٢٠٢٦
✍️ نُشر في: ٣١ يوليو ٢٠٢٦
📷 يحتوي على 49 صور
الموسوعة الحرة
مخطط انسيابي لبلمان

معادلة بيلمان ، نسبةً إلى ريتشارد إي. بيلمان ، هي أسلوب في البرمجة الديناميكية يُقسّم مسألة التحسين إلى سلسلة من المسائل الفرعية الأبسط، وفقًا لمبدأ بيلمان للأمثلية. [ 1 ] وهي شرط ضروري للأمثلية. [ 2 ] تُكتب "قيمة" مسألة القرار عند نقطة زمنية معينة بدلالة العائد من بعض الخيارات الأولية و"قيمة" مسألة القرار المتبقية الناتجة عن تلك الخيارات الأولية. [ 3 ] تنطبق المعادلة على البنى الجبرية ذات الترتيب الكلي؛ أما بالنسبة للبنى الجبرية ذات الترتيب الجزئي، فيمكن استخدام معادلة بيلمان العامة. [ 4 ]

طُبقت معادلة بيلمان لأول مرة في نظرية التحكم الهندسي ومواضيع أخرى في الرياضيات التطبيقية، ثم أصبحت أداةً مهمةً في النظرية الاقتصادية ؛ على الرغم من أن المفاهيم الأساسية للبرمجة الديناميكية قد تم التمهيد لها في كتاب جون فون نيومان وأوسكار مورغنسترن " نظرية الألعاب والسلوك الاقتصادي " وفي التحليل التتابعي لأبراهام والد . [ 5 ] يشير مصطلح "معادلة بيلمان" عادةً إلى معادلة البرمجة الديناميكية (DPE) المرتبطة بمسائل التحسين في الزمن المتقطع . [ 6 ] في مسائل التحسين في الزمن المستمر، تكون المعادلة المماثلة معادلة تفاضلية جزئية تُسمى معادلة هاميلتون-جاكوبي-بيلمان . [ 7 ] [ 8 ]

في الزمن المتقطع، يمكن حل أي مسألة تحسين متعددة المراحل بتحليل معادلة بيلمان المناسبة. ويمكن إيجاد هذه المعادلة بإدخال متغيرات حالة جديدة (توسيع الحالة). [ 9 ] مع ذلك، فإن مسألة التحسين متعددة المراحل ذات الحالة الموسعة الناتجة لها فضاء حالة ذو أبعاد أعلى من فضاء حالة مسألة التحسين متعددة المراحل الأصلية، وهي مشكلة قد تجعل المسألة الموسعة غير قابلة للحل بسبب " لعنة الأبعاد ". في المقابل، ثبت أنه إذا كانت دالة التكلفة لمسألة التحسين متعددة المراحل تحقق بنية "قابلة للفصل العكسي"، فإنه يمكن إيجاد معادلة بيلمان المناسبة دون توسيع الحالة. [ 10 ]

المفاهيم التحليلية في البرمجة الديناميكية

لفهم معادلة بيلمان، لا بد من تقديم عدة مفاهيم أساسية. أولاً، لأي مسألة تحسين هدفٌ ما: تقليل وقت السفر، تقليل التكلفة، تعظيم الأرباح، تعظيم المنفعة، إلخ. تُسمى الدالة الرياضية التي تصف هذا الهدف دالة الهدف . [ 11 ]

تُقسّم البرمجة الديناميكية مشكلة التخطيط متعددة الفترات إلى خطوات أبسط في نقاط زمنية مختلفة. ولذلك، فهي تتطلب تتبع كيفية تطور وضع القرار بمرور الوقت. تُسمى المعلومات المتعلقة بالوضع الحالي واللازمة لاتخاذ قرار صحيح "الحالة". [ 12 ] [ 13 ] على سبيل المثال، لتحديد مقدار الاستهلاك والإنفاق في كل نقطة زمنية، يحتاج الأفراد إلى معرفة (من بين أمور أخرى) ثروتهم الأولية. وبالتالي، فإن الثروة(دبليو){\displaystyle (W)}سيكون أحد متغيرات حالتهم ، ولكن من المحتمل أن يكون هناك متغيرات أخرى.

تُسمى المتغيرات المختارة في أي لحظة زمنية محددة عادةً بالمتغيرات الضابطة . على سبيل المثال، قد يقرر الأفراد، بناءً على ثروتهم الحالية، مقدار استهلاكهم الآن. قد يكون اختيار المتغيرات الضابطة الآن مكافئًا لاختيار الحالة التالية؛ وبشكل عام، تتأثر الحالة التالية بعوامل أخرى بالإضافة إلى المتغيرات الضابطة الحالية. على سبيل المثال، في أبسط الحالات، قد تحدد ثروة اليوم (الحالة) واستهلاك اليوم (المتغير الضابط) ثروة الغد (الحالة الجديدة) بدقة، مع أن عوامل أخرى عادةً ما تؤثر على ثروة الغد أيضًا.

يصف أسلوب البرمجة الديناميكية الخطة المثلى من خلال إيجاد قاعدة تحدد عناصر التحكم، مع الأخذ في الاعتبار أي قيمة محتملة للحالة. على سبيل المثال، إذا كان الاستهلاك ( c ) يعتمد فقط على الثروة ( W )، فسنسعى إلى إيجاد قاعدة ج(دبليو){\displaystyle c(W)}وهذا يعطي الاستهلاك كدالة للثروة. وتُسمى هذه القاعدة، التي تحدد الضوابط كدالة للدول، دالة السياسة . [ 14 ] [ 12 ]

وأخيرًا، بحسب التعريف، فإن قاعدة القرار الأمثل هي التي تحقق أفضل قيمة ممكنة للهدف. على سبيل المثال، إذا اختار شخص ما الاستهلاك، في ظل مستوى معين من الثروة، بهدف تعظيم سعادته (بافتراض أن السعادة H يمكن تمثيلها بدالة رياضية، مثل دالة المنفعة ، وأنها شيء محدد بالثروة)، فإن كل مستوى من مستويات الثروة سيرتبط بأعلى مستوى ممكن من السعادة.ح(دبليو){\displaystyle H(W)}. أفضل قيمة ممكنة للهدف، مكتوبة كدالة للحالة، تسمى دالة القيمة .

أظهر بيلمان أن مسألة التحسين الديناميكي في الزمن المتقطع يمكن صياغتها بشكل تكراري ، خطوة بخطوة، يُعرف بالاستقراء العكسي ، وذلك بكتابة العلاقة بين دالة القيمة في فترة زمنية معينة ودالة القيمة في الفترة التالية. تُسمى هذه العلاقة بين هاتين الدالتين "معادلة بيلمان". في هذا النهج، تُحدد السياسة المثلى في الفترة الزمنية الأخيرة مسبقًا كدالة لقيمة متغير الحالة في ذلك الوقت، وبالتالي تُعبّر القيمة المثلى الناتجة لدالة الهدف بدلالة تلك القيمة لمتغير الحالة. بعد ذلك، يتضمن تحسين الفترة قبل الأخيرة تعظيم مجموع دالة الهدف الخاصة بتلك الفترة والقيمة المثلى لدالة الهدف المستقبلية، مما يُعطي السياسة المثلى لتلك الفترة، والتي تعتمد على قيمة متغير الحالة في قرار الفترة قبل الأخيرة. يستمر هذا المنطق بشكل متكرر عبر الزمن، حتى يتم اشتقاق قاعدة القرار للفترة الأولى، كدالة لقيمة متغير الحالة الابتدائي، وذلك من خلال تحسين مجموع دالة الهدف الخاصة بالفترة الأولى وقيمة دالة القيمة للفترة الثانية، والتي تُعطي القيمة لجميع الفترات اللاحقة. وبالتالي، يتم اتخاذ قرار كل فترة مع الإقرار صراحةً بأن جميع القرارات اللاحقة ستُتخذ على النحو الأمثل.

الاشتقاق

مشكلة اتخاذ القرار الديناميكي

يتركxت{\displaystyle x_{t}}كن الدولة في ذلك الوقتت{\displaystyle t}بالنسبة لقرار يبدأ عند الزمن صفر، نعتبر الحالة الابتدائية معطاة.x0{\displaystyle x_{0}}في أي وقت، تعتمد مجموعة الإجراءات الممكنة على الحالة الراهنة؛ ونعبر عن ذلك على النحو التالي:أت∈Γ(xت){\displaystyle a_{t}\in \Gamma (x_{t})}، حيث يكون إجراء معينأت{\displaystyle a_{t}}يمثل قيمًا محددة لمتغير تحكم واحد أو أكثر، وΓ(xت){\displaystyle \Gamma (x_{t})}هي مجموعة الإجراءات المتاحة التي يمكن اتخاذها على مستوى الدولةxت{\displaystyle x_{t}}ويفترض أيضاً أن الحالة تتغير منx{\displaystyle x}إلى ولاية جديدةتي(x،أ){\displaystyle T(x,a)}عندما يحدث الفعلأ{\displaystyle a}يتم اتخاذ القرار، وأن العائد الحالي من اتخاذ هذا الإجراءأ{\displaystyle a}في الولايةx{\displaystyle x}يكونF(x،أ){\displaystyle F(x,a)}وأخيرًا، نفترض نفاد الصبر، والذي يُمثله عامل الخصم0<β<1{\displaystyle 0<\beta <1}.

في ظل هذه الافتراضات، تتخذ مشكلة اتخاذ القرار ذات الأفق الزمني اللانهائي الشكل التالي:

V(x0)=الأعلى{أت}ت=0∞∑ت=0∞βتF(xت،أت)،{\displaystyle V(x_{0})\;=\;\max _{\left\{a_{t}\right\}_{t=0}^{\infty }}\sum _{t=0}^{\infty }\beta ^{t}F(x_{t},a_{t}),}

رهناً بالقيود

أت∈Γ(xت)،xت+1=تي(xت،أت)،∀ت=0،1،2،...{\displaystyle a_{t}\in \Gamma (x_{t}),\;x_{t+1}=T(x_{t},a_{t}),\;\forall t=0,1,2,\dots }

لاحظ أننا قمنا بتعريف الرموزV(x0){\displaystyle V(x_{0})}للدلالة على القيمة المثلى التي يمكن الحصول عليها من خلال تعظيم دالة الهدف هذه مع مراعاة القيود المفترضة. هذه الدالة هي دالة القيمة ، وهي دالة لمتغير الحالة الابتدائية.x0{\displaystyle x_{0}}، لأن أفضل قيمة يمكن الحصول عليها تعتمد على الوضع الأولي.

مبدأ بلمان الأمثل

تقوم طريقة البرمجة الديناميكية بتقسيم مشكلة القرار هذه إلى مشاكل فرعية أصغر. ويشرح مبدأ بلمان للأمثلية كيفية القيام بذلك:

مبدأ الأمثلية: تتميز السياسة المثلى بخاصية أنه مهما كانت الحالة الأولية والقرار الأولي، فإن القرارات المتبقية تشكل سياسة مثلى فيما يتعلق بالحالة الناتجة عن القرار الأول. (انظر بيلمان، 1957، الفصل الثالث، القسم 3.) [ 12 ] [ 13 ] [ 15 ]

في علم الحاسوب، يُقال إن المشكلة التي يمكن تجزئتها على هذا النحو تمتلك بنية فرعية مثلى . وفي سياق نظرية الألعاب الديناميكية ، يُشابه هذا المبدأ مفهوم توازن اللعبة الفرعية المثالي ، مع أن ما يُشكّل سياسة مثلى في هذه الحالة مشروط باختيار خصوم صانع القرار سياسات مثلى مماثلة من وجهة نظرهم.

كما يقترح مبدأ الأمثلية ، سننظر في القرار الأول بشكل منفصل، مع استبعاد جميع القرارات اللاحقة (سنبدأ من جديد من الوقت 1 بالحالة الجديدة).x1{\displaystyle x_{1}}). بتجميع القرارات المستقبلية بين قوسين على اليمين، فإن مشكلة القرار ذات الأفق اللانهائي المذكورة أعلاه تعادل ما يلي:

الأعلىأ0{F(x0،أ0)+β[الأعلى{أت}ت=1∞∑ت=1∞βت-1F(xت،أت):أت∈Γ(xت)،xت+1=تي(xت،أت)،∀ت≥1]}{\displaystyle \max _{a_{0}}\left\{F(x_{0},a_{0})+\beta \left[\max _{\left\{a_{t}\right\}_{t=1}^{\infty }}\sum _{t=1}^{\infty }\beta ^{t-1}F(x_{t},a_{t}):a_{t}\in \Gamma (x_{t}),\;x_{t+1}=T(x_{t},a_{t}),\;\forall t\geq 1\right]\right\}}

رهناً بالقيود

أ0∈Γ(x0)،x1=تي(x0،أ0).{\displaystyle a_{0}\in \Gamma (x_{0}),\;x_{1}=T(x_{0},a_{0}).}

هنا نختارأ0{\displaystyle a_{0}}مع العلم أن اختيارنا سيؤدي إلى أن تصبح الولاية رقم 1 هيx1=تي(x0،أ0){\displaystyle x_{1}=T(x_{0},a_{0})}ستؤثر هذه الحالة الجديدة على مشكلة القرار بدءًا من الوقت 1. تظهر مشكلة القرار المستقبلية بأكملها داخل الأقواس المربعة على اليمين.

معادلة بيلمان

حتى الآن، يبدو أننا لم نزد المشكلة إلا تعقيدًا بفصل قرار اليوم عن القرارات المستقبلية. لكن يمكننا تبسيطها بملاحظة أن ما بداخل القوسين المربعين على اليمين هو قيمة مسألة القرار في المرة الأولى، بدءًا من الحالةx1=تي(x0،أ0){\displaystyle x_{1}=T(x_{0},a_{0})}.

لذلك، يمكن إعادة صياغة المشكلة كتعريف تكراري لدالة القيمة:

V(x0)=الأعلىأ0{F(x0،أ0)+βV(x1)}{\displaystyle V(x_{0})=\max _{a_{0}}\{F(x_{0},a_{0})+\beta V(x_{1})\}}مع مراعاة القيود التالية:أ0∈Γ(x0)،x1=تي(x0،أ0).{\displaystyle a_{0}\in \Gamma (x_{0}),\;x_{1}=T(x_{0},a_{0}).}

هذه هي معادلة بيلمان. ويمكن تبسيطها أكثر إذا تم حذف مؤشرات الوقت السفلية وتعويض قيمة الحالة التالية:

V(x)=الأعلىأ∈Γ(x){F(x،أ)+βV(تي(x،أ))}.{\displaystyle V(x)=\max _{a\in \Gamma (x)}\{F(x,a)+\beta V(T(x,a))\}.}

تُصنف معادلة بيلمان على أنها معادلة دالية ، لأن حلها يعني إيجاد الدالة المجهولة.V{\displaystyle V}وهي دالة القيمة . تذكر أن دالة القيمة تصف أفضل قيمة ممكنة للهدف، كدالة للحالة.x{\displaystyle x}بحساب دالة القيمة، سنجد أيضًا الدالةأ(x){\displaystyle a(x)}وهذا يصف الإجراء الأمثل كدالة للحالة؛ وهذا ما يسمى دالة السياسة .

في مسألة عشوائية

في السياق الحتمي، يمكن استخدام تقنيات أخرى إلى جانب البرمجة الديناميكية لمعالجة مشكلة التحكم الأمثل المذكورة أعلاه . ومع ذلك، تُعد معادلة بيلمان في كثير من الأحيان الطريقة الأنسب لحل مسائل التحكم الأمثل العشوائية .

كمثال محدد من علم الاقتصاد، لنفترض مستهلكاً يعيش إلى ما لا نهاية ولديه ثروة أولية.أ0{\displaystyle {\color {Red}a_{0}}}في الفترة0{\displaystyle 0}لديهم دالة منفعة فوريةu(ج){\displaystyle u(c)}أينج{\displaystyle c}يشير إلى الاستهلاك ويخصم منفعة الفترة التالية بمعدل0<β<1{\displaystyle 0<\beta <1}افترض أن ما لم يُستهلك في الفترةت{\displaystyle t}يتم ترحيلها إلى الفترة التالية بسعر الفائدةر{\displaystyle r}ثم تتمثل مشكلة تعظيم منفعة المستهلك في اختيار خطة استهلاك{جت}{\displaystyle \{{\color {OliveGreen}c_{t}}\}}هذا يحل المشكلة

الأعلى∑ت=0∞βتu(جت){\displaystyle \max \sum _{t=0}^{\infty }\beta ^{t}u({\color {OliveGreen}c_{t}})}

رهناً بـ

أت+1=(1+ر)(أت-جت)،جت≥0،{\displaystyle {\color {Red}a_{t+1}}=(1+r)({\color {Red}a_{t}}-{\color {OliveGreen}c_{t}}),\;{\color {OliveGreen}c_{t}}\geq 0,}

و

ليمت→∞أت≥0.{\displaystyle \lim _{t\rightarrow \infty }{\color {Red}a_{t}}\geq 0.}

يتمثل القيد الأول في تراكم رأس المال/قانون الحركة المحدد في المسألة، بينما يتمثل القيد الثاني في شرط الشمولية الذي ينص على أن المستهلك لا يحمل ديونًا في نهاية حياته. معادلة بيلمان هي

V(أ)=الأعلى0≤ج≤أ{u(ج)+βV((1+ر)(أ-ج))}،{\displaystyle V(a)=\max _{0\leq c\leq a}\{u(c)+\beta V((1+r)(a-c))\},}

بدلاً من ذلك، يمكن معالجة مشكلة التسلسل مباشرة باستخدام، على سبيل المثال، معادلات هاميلتون .

الآن، إذا تغير سعر الفائدة من فترة إلى أخرى، فإن المستهلك يواجه مشكلة تحسين عشوائية. لنفترض أن سعر الفائدة r يتبع عملية ماركوف بدالة انتقال احتماليةسؤال(ر،دμر){\displaystyle Q(r,d\mu _{r})}أيندμر{\displaystyle d\mu _{r}}يشير إلى مقياس الاحتمالية الذي يحكم توزيع سعر الفائدة في الفترة القادمة إذا كان سعر الفائدة الحالي هور{\displaystyle r}في هذا النموذج، يقرر المستهلك استهلاكه في الفترة الحالية بعد الإعلان عن سعر الفائدة في الفترة الحالية.

بدلاً من مجرد اختيار تسلسل واحد{جت}{\displaystyle \{{\color {OliveGreen}c_{t}}\}}يتعين على المستهلك الآن اختيار تسلسل{جت}{\displaystyle \{{\color {OliveGreen}c_{t}}\}}لكل تحقق ممكن لـ{رت}{\displaystyle \{r_{t}\}}بطريقة تضمن تعظيم المنفعة المتوقعة طوال حياتهم:

الأعلى{جت}ت=0∞هـ(∑ت=0∞βتu(جت)).{\displaystyle \max _{\left\{c_{t}\right\}_{t=0}^{\infty }}\mathbb {E} {\bigg (}\sum _{t=0}^{\infty }\beta ^{t}u({\color {OliveGreen}c_{t}}){\bigg )}.}

التوقعهـ{\displaystyle \mathbb {E} }يتم حساب ذلك بالنسبة لمقياس الاحتمال المناسب المعطى بواسطة Q على متواليات r . ولأن r تخضع لعملية ماركوف، فإن البرمجة الديناميكية تبسط المسألة بشكل كبير. وبالتالي، تصبح معادلة بيلمان ببساطة :

V(أ،ر)=الأعلى0≤ج≤أ{u(ج)+β∫V((1+ر)(أ-ج)،ر′)سؤال(ر،دμر)}.{\displaystyle V(a,r)=\max _{0\leq c\leq a}\{u(c)+\beta \int V((1+r)(a-c),r')Q(r,d\mu _{r})\}.}

في ظل بعض الافتراضات المعقولة، تكون دالة السياسة المثلى الناتجة g ( a , r ) قابلة للقياس .

بالنسبة لمسألة التحسين التسلسلي العشوائي العام مع الصدمات الماركوفية وحيث يواجه الوكيل قراره بعد وقوعه ، تأخذ معادلة بيلمان شكلاً مشابهاً جداً

V(x،z)=الأعلىج∈Γ(x،z){F(x،ج،z)+β∫V(تي(x،ج)،z′)دμz(z′)}.{\displaystyle V(x,z)=\max _{c\in \Gamma (x,z)}\{F(x,c,z)+\beta \int V(T(x,c),z')d\mu _{z}(z')\}.}

طرق الحل

  • يمكن استخدام طريقة المعاملات غير المحددة ، والمعروفة أيضًا باسم "التخمين والتحقق"، لحل بعض معادلات بيلمان المستقلة ذات الأفق اللانهائي . [ 16 ]
  • يمكن حل معادلة بيلمان بالاستقراء العكسي ، إما تحليليًا في حالات خاصة قليلة، أو عدديًا باستخدام الحاسوب. يُعد الاستقراء العكسي العددي مناسبًا لمجموعة واسعة من المسائل، ولكنه قد يكون غير عملي عند وجود العديد من متغيرات الحالة، نظرًا لظاهرة لعنة الأبعاد . وقد قدّم كلٌ من د.ب. بيرتسيكاس وج.ن. تسيتسيكليس البرمجة الديناميكية التقريبية باستخدام الشبكات العصبية الاصطناعية ( البيرسيبترونات متعددة الطبقات ) لتقريب دالة بيلمان. [ 17 ] تُعد هذه استراتيجية فعّالة للتخفيف من تأثير الأبعاد عن طريق استبدال حفظ دالة الربط الكاملة لمجال الفضاء بأكمله بحفظ معلمات الشبكة العصبية فقط. على وجه الخصوص، بالنسبة للأنظمة ذات الزمن المستمر، تم تقديم نهج برمجة ديناميكية تقريبية يجمع بين تكرارات السياسة والشبكات العصبية. [ 18 ] أما في الأنظمة ذات الزمن المتقطع، فقد تم تقديم نهج لحل معادلة هاميلتون-جاكوبي-بيلمان يجمع بين تكرارات القيمة والشبكات العصبية. [ 19 ]
  • من خلال حساب شروط الرتبة الأولى المرتبطة بمعادلة بيلمان، ثم استخدام نظرية الغلاف للتخلص من مشتقات دالة القيمة، يمكن الحصول على نظام من المعادلات التفاضلية أو معادلات الفرق يُسمى " معادلات أويلر ". [ 20 ] ويمكن بعد ذلك استخدام التقنيات القياسية لحل معادلات الفرق أو المعادلات التفاضلية لحساب ديناميكيات متغيرات الحالة ومتغيرات التحكم في مسألة التحسين.

تطبيقات في الاقتصاد

يعود أول تطبيق معروف لمعادلة بيلمان في علم الاقتصاد إلى مارتن بيكمان وريتشارد موث . [ 21 ] كما كتب مارتن بيكمان باستفاضة عن نظرية الاستهلاك باستخدام معادلة بيلمان في عام 1959. وقد أثر عمله على إدموند إس. فيلبس ، من بين آخرين.

من أبرز التطبيقات الاقتصادية لمعادلة بيلمان مقالة روبرت سي. ميرتون الرائدة عام 1973 حول نموذج تسعير الأصول الرأسمالية عبر الزمن . [ 22 ] (انظر أيضًا مسألة محفظة ميرتون ). يُعد حل نموذج ميرتون النظري، الذي يختار فيه المستثمرون بين الدخل الحالي والدخل المستقبلي أو مكاسب رأس المال، شكلاً من أشكال معادلة بيلمان. ولأن التطبيقات الاقتصادية للبرمجة الديناميكية عادةً ما تُنتج معادلة بيلمان من نوع معادلة الفرق ، يُشير الاقتصاديون إلى البرمجة الديناميكية على أنها "طريقة تكرارية"، وقد أصبح فرعٌ من فروع الاقتصاد التكراري معترفًا به ضمن علم الاقتصاد.

تُقدّم نانسي ستوكي ، وروبرت إي. لوكاس ، وإدوارد بريسكوت وصفًا مُفصّلًا للبرمجة الديناميكية العشوائية وغير العشوائية، ويضعون نظرياتٍ تُثبت وجود حلولٍ للمسائل التي تُحقّق شروطًا مُحدّدة. كما يُقدّمون أمثلةً عديدةً لنمذجة المسائل النظرية في الاقتصاد باستخدام الأساليب التكرارية. [ 23 ] وقد أدّى هذا الكتاب إلى استخدام البرمجة الديناميكية لحلّ طيفٍ واسعٍ من المسائل النظرية في الاقتصاد، بما في ذلك النمو الاقتصادي الأمثل ، واستخراج الموارد ، ومسائل الوكيل والموكل ، والمالية العامة ، واستثمار الأعمال ، وتسعير الأصول ، وعرض عوامل الإنتاج، والتنظيم الصناعي . ويُطبّق لارس ليونغكفيست وتوماس سارجنت البرمجة الديناميكية لدراسة مجموعةٍ مُتنوّعةٍ من المسائل النظرية في السياسة النقدية ، والسياسة المالية ، والضرائب ، والنمو الاقتصادي ، ونظرية البحث ، واقتصاديات العمل . [ 24 ] وقد أظهر أفيناش ديكسيت وروبرت بينديك قيمة هذه الطريقة في التفكير في ميزانية رأس المال . [ 25 ] وقام أندرسون بتكييف هذه التقنية لتقييم الأعمال، بما في ذلك الشركات الخاصة. [ 26 ]

يُعدّ استخدام البرمجة الديناميكية لحلّ المشكلات الملموسة أمرًا معقدًا بسبب صعوبات المعلومات، مثل اختيار معدل الخصم غير القابل للملاحظة. كما توجد مشكلات حسابية، أبرزها لعنة الأبعاد الناجمة عن العدد الهائل من الإجراءات الممكنة ومتغيرات الحالة المحتملة التي يجب أخذها في الاعتبار قبل اختيار الاستراتيجية المثلى. للاطلاع على مناقشة مستفيضة للمشكلات الحسابية، يُرجى مراجعة ميراندا وفاكلر [ 27 ] وماين 2007 [ 28 ].

مثال

في عمليات اتخاذ القرار الماركوفية ، تُعد معادلة بيلمان علاقة تكرارية للمكافآت المتوقعة. على سبيل المثال، المكافأة المتوقعة للتواجد في حالة معينة s واتباع سياسة ثابتة.π{\displaystyle \pi }تتضمن معادلة بيلمان ما يلي:

Vπ(s)=R(s،π(s))+γ∑s′P(s′|s،π(s))Vπ(s′). {\displaystyle V^{\pi }(s)=R(s,\pi (s))+\gamma \sum _{s'}P(s'|s,\pi (s))V^{\pi }(s').\ }

تصف هذه المعادلة المكافأة المتوقعة لاتخاذ الإجراء المنصوص عليه في سياسة معينةπ{\displaystyle \pi }.

تُعرف معادلة السياسة المثلى باسم معادلة بلمان المثلى :

Vπ*(s)=الأعلىأ{R(s،أ)+γ∑s′P(s′|s،أ)Vπ*(s′)}. {\displaystyle V^{\pi *}(s)=\max _{a}\left\{{R(s,a)+\gamma \sum _{s'}P(s'|s,a)V^{\pi *}(s')}\right\}.\ }

أينπ*{\displaystyle {\pi *}}هي السياسة المثلى وVπ*{\displaystyle V^{\pi *}}يشير ذلك إلى دالة القيمة للسياسة المثلى. تصف المعادلة أعلاه المكافأة المترتبة على اتخاذ الإجراء الذي يحقق أعلى عائد متوقع.

انظر أيضاً

مراجع

  1. ↑ كيرك، دونالد إي. (1970). نظرية التحكم الأمثل: مقدمة . برنتيس هول. ص  55. ISBN 0-13-638098-0.
  2. ↑ ديكسيت، أفيناش ك. (1990). الأمثلية في النظرية الاقتصادية ( الطبعة الثانية). مطبعة جامعة أكسفورد. ص 164. ISBN   0-19-877211-4.
  3. ↑ "مبدأ بيلمان الأمثل" . www.ques10.com . تاريخ الاسترجاع: 17 أغسطس 2023 .
  4. ^ شتشيزنياك، إيرينيوس؛ Woźna-Szcześniak، Bożena (2023)، “Generic Dijkstra: Correctness and Tractability”، NOMS 2023-2023 IEEE/IFIP Network Operations and Management Symposium ، الصفحات من 1 إلى 7، أرخايف : 2204.13547 ، دوى : 10.1109/NOMS56928.2023.10154322 ، ISBN  978-1-6654-7716-1، S2CID 248427020 
  5. ↑ والد، أبراهام (1947). التحليل التسلسلي . وايلي.
  6. ↑ كيرك 1970 ، ص 70 
  7. ↑ كامين، مورتون آي .؛ شوارتز، نانسي إل. (1991). التحسين الديناميكي: حساب التفاضل والتكامل والتحكم الأمثل في الاقتصاد والإدارة ( الطبعة الثانية). أمستردام: إلسيفير. ص 261. ISBN   0-444-01609-0.
  8. ↑ كيرك 1970 ، ص 88 
  9. ↑ جونز، مورغان؛ بيت، ماثيو م. (2020). "امتدادات إطار البرمجة الديناميكية: جدولة البطاريات، ورسوم الطلب، وتكامل الطاقة المتجددة". معاملات IEEE في التحكم الآلي . 66 (4): 1602-1617 . arXiv : 1812.00792 . doi : 10.1109/TAC.2020.3002235 . S2CID 119622206 . 
  10. ↑ جونز، مورغان؛ بيت، ماثيو م. (2021). "تعميم لمعادلة بيلمان مع تطبيق على تخطيط المسار، وتجنب العوائق، وتقدير المجموعة الثابتة" . أوتوماتيكا . 127 109510. arXiv : 2006.08175 . doi : 10.1016/j.automatica.2021.109510 . S2CID 222350370 . 
  11. ↑ بيرتسيكاس، ديمتري ب. (2005). البرمجة الديناميكية والتحكم الأمثل ( الطبعة الثالثة). بيلموند، ماساتشوستس: أثينا ساينتيفيك. ص 2. ISBN   1-886529-26-4.
  12. 1 2 3 بيلمان، ر. إي. (2003) [1957]. البرمجة الديناميكية . دوفر. ISBN 0-486-42809-5.
  13. 1 2 دريفوس، س. (2002). "ريتشارد بيلمان حول نشأة البرمجة الديناميكية". بحوث العمليات . 50 (1): 48-51 . doi : 10.1287/opre.50.1.48.17791 .
  14. ↑ بيلمان، 1957، الفصل الثالث.2.
  15. ↑ بيلمان، ر. (أغسطس 1952). "حول نظرية البرمجة الديناميكية" . وقائع الأكاديمية الوطنية للعلوم في الولايات المتحدة الأمريكية . 38 ( 8): 716-719 . Bibcode : 1952PNAS...38..716B . doi : 10.1073/pnas.38.8.716 . PMC 1063639. PMID 16589166 .  
  16. ^ لجونجكفيست، لارس؛ سارجنت، توماس ج. (2004). نظرية الاقتصاد الكلي العودية (الطبعة الثانية ). مطبعة معهد ماساتشوستس للتكنولوجيا. ص 88 – 90. رقم ISBN   0-262-12274-X.
  17. ↑ بيرتسيكاس، ديمتري ب.؛ تسيتسيكليس، جون ن. (1996). البرمجة العصبية الديناميكية . أثينا ساينتيفيك. ISBN 978-1-886529-10-6.
  18. ↑ أبو خلف، مراد؛ لويس، فرانك ل. (2005). "قوانين تحكم شبه مثالية للأنظمة غير الخطية ذات المشغلات المشبعة باستخدام نهج شبكة عصبية HJB". أوتوماتيكا . 41 (5): 779-791 . doi : 10.1016/j.automatica.2004.11.034 . S2CID 14757582 . 
  19. ↑ التميمي، أسماء؛ لويس، فرانك ل.؛ أبو خلف، مراد (2008). "حل HJB غير الخطي في الزمن المتقطع باستخدام البرمجة الديناميكية التقريبية: إثبات التقارب". معاملات IEEE في الأنظمة والإنسان وعلم التحكم الآلي - الجزء ب: علم التحكم الآلي . 38 (4): 943-949 . doi : 10.1109/TSMCB.2008.926614 . PMID 18632382. S2CID 14202785 .  
  20. ↑ مياو، جيانجون (2014). الديناميكيات الاقتصادية في الزمن المتقطع . مطبعة معهد ماساتشوستس للتكنولوجيا. ص 134. ISBN  978-0-262-32560-8.
  21. ↑ بيكمان، مارتن؛ موث، ريتشارد (1954). "حول حل "المعادلة الأساسية" لنظرية المخزون" (ملف PDF) . ورقة مناقشة لجنة كولز رقم 2116 .
  22. ↑ ميرتون، روبرت سي. (1973). "نموذج تسعير الأصول الرأسمالية بين الفترات الزمنية". إيكونومتريكا . 41 (5): 867-887 . doi : 10.2307/1913811 . JSTOR 1913811 . 
  23. ↑ ستوكي، نانسي؛ لوكاس، روبرت إي؛ بريسكوت، إدوارد (1989). الأساليب التكرارية في الديناميات الاقتصادية . مطبعة جامعة هارفارد. ISBN 0-674-75096-9.
  24. ↑ ليونغكفيست، لارس؛ سارجنت، توماس (2012). نظرية الاقتصاد الكلي التكرارية ( الطبعة الثالثة). مطبعة معهد ماساتشوستس للتكنولوجيا. ISBN  978-0-262-01874-6.
  25. ↑ ديكسيت، أفيناش؛ بينديك، روبرت (1994). الاستثمار في ظل عدم اليقين . مطبعة جامعة برينستون. ISBN 0-691-03410-9.
  26. ↑ أندرسون، باتريك ل. (2004). "الفصل 10". اقتصاديات الأعمال والتمويل . مطبعة سي آر سي. رقم ISBN 1-58488-348-0.— (2009). "قيمة الشركات الخاصة في الولايات المتحدة". اقتصاديات الأعمال . 44 (2): 87-108 . doi : 10.1057/be.2009.4 . S2CID 154743445 . — (2013). اقتصاديات تقييم الأعمال . مطبعة جامعة ستانفورد. ISBN 978-0-8047-5830-7.أرشيف مطبعة جامعة ستانفورد، بتاريخ 8 أغسطس 2013، على موقع Wayback Machine.
  27. ↑ ميراندا، ماريو جيه؛ فاكلر، بول إل. (2004). الاقتصاد الحسابي التطبيقي والتمويل . مطبعة معهد ماساتشوستس للتكنولوجيا. ISBN 978-0-262-29175-0.
  28. ↑ ماين، شون (2008). تقنيات التحكم للشبكات المعقدة . مطبعة جامعة كامبريدج. ISBN 978-0-521-88441-9. يحتوي الملحق على نسخة مختصرة من كتاب Meyn & Tweedie ، مؤرشف بتاريخ 12-10-2007 في Wayback Machine .