نسبة اكتساب المعلومات

في تعلم شجرة القرار ، تُعرَّف نسبة اكتساب المعلومات بأنها نسبة اكتساب المعلومات إلى المعلومات الجوهرية. وقد اقترحها روس كوينلان [ ^{1 ] للحد} من التحيز نحو السمات متعددة القيم من خلال مراعاة عدد وحجم الفروع عند اختيار السمة. ^{[ 2 ]}

يُعرف اكتساب المعلومات أيضًا باسم المعلومات المتبادلة . ^{[ 3 ]}

تُظهر الصورة اكتساب المعلومات لمتغير يُسمى "السنة"، وتُبين نتيجة اختيار سنة من 1 إلى 12. يُرجّح اكتساب المعلومات كفة هذا المتغير، إذ ستكون النتائج إما إيجابية أو سلبية بشكل قاطع، مع إنشاء عدة عُقد طرفية. مع ذلك، تكمن المشكلة في أن أيًا من هذه السنوات لن يتكرر. المدخل التالي هو السنة 13، ولكن لا يوجد فرع يؤدي إليها، وهذه مشكلة يُمكن حلها باستخدام نسبة اكتساب المعلومات. تعمل هذه النسبة على تطبيع البيانات باستخدام قيمة الإنتروبيا للمتغير، لإزالة تحيز البيانات متعددة المتغيرات، والمتغيرات ذات العُقد المتعددة مقارنةً بالمتغيرات ذات العُقد الأقل. هذا من شأنه أن يُلغي احتمالية إنشاء الشجرة الموضحة في الصورة.

اكتساب المعلومات هو انخفاض في الإنتروبيا الناتج عن تقسيم مجموعة ذات سمات${\displaystyle a}$وإيجاد المرشح الأمثل الذي يحقق أعلى قيمة:

${\displaystyle {\text{IG}}(T,a)=\mathrm {H} {(T)}-\mathrm {H} {(T|a)},}$

أين${\displaystyle T}$هو متغير عشوائي و${\displaystyle \mathrm {H} {(T|a)}}$هي إنتروبيا${\displaystyle T}$بالنظر إلى قيمة السمة${\displaystyle a}$.

تُساوي كمية المعلومات المكتسبة إجمالي الإنتروبيا لخاصية ما إذا أمكن تصنيف كل قيمة من قيم تلك الخاصية تصنيفًا فريدًا لخاصية النتيجة. في هذه الحالة، تكون قيم الإنتروبيا النسبية المطروحة من إجمالي الإنتروبيا صفرًا.

يتم تعريف قيمة المعلومات المنقسمة للاختبار على النحو التالي:

${\displaystyle {\text{SplitInformation}}(X)=-\sum _{i=1}^{n}{{\frac {\mathrm {N} (x_{i})}{\mathrm {N} (x)}}*\log {_{2}}{\frac {\mathrm {N} (x_{i})}{\mathrm {N} (x)}}}}$

أين${\displaystyle X}$هو متغير عشوائي منفصل ذو قيم محتملة${\displaystyle {x_{1},x_{2},...,x_{n}}}$و ${\displaystyle N(x_{i})}$عدد المرات التي${\displaystyle x_{i}}$يحدث مقسومًا على إجمالي عدد الأحداث${\displaystyle N(x)}$أين${\displaystyle x}$هي مجموعة الأحداث.

قيمة المعلومات المنقسمة هي عدد موجب يصف القيمة المحتملة لفصل فرع من عقدة. وهذه القيمة بدورها هي القيمة الجوهرية التي يمتلكها المتغير العشوائي، وسيتم استخدامها لإزالة التحيز في حساب نسبة اكتساب المعلومات.

نسبة اكتساب المعلومات هي النسبة بين اكتساب المعلومات وقيمة المعلومات المقسمة: ${\displaystyle {\text{IGR}}(T,a)={\text{IG}}(T,a)/{\text{SplitInformation}}(T)}$

${\displaystyle {\text{IGR}}(T,a)={\frac {-\sum _{i=1}^{n}{\mathrm {P} (T)\log \mathrm {P} (T)}-(-\sum _{i=1}^{n}{\mathrm {P} (T|a)\log \mathrm {P} (T|a)})}{-\sum _{i=1}^{n}{{\frac {\mathrm {N} (t_{i})}{\mathrm {N} (t)}}*\log {_{2}}{\frac {\mathrm {N} (t_{i})}{\mathrm {N} (t)}}}}}}$

باستخدام بيانات الطقس المنشورة من قبل جامعة فوردهام، ^{[ 4 ]} تم إنشاء الجدول أدناه:

باستخدام الجدول أعلاه، يمكن إيجاد الإنتروبيا، ومكسب المعلومات، وتقسيم المعلومات، ونسبة مكسب المعلومات لكل متغير (التوقعات، ودرجة الحرارة، والرطوبة، والرياح). وتُعرض هذه الحسابات في الجداول أدناه:

باستخدام الجداول أعلاه، يمكن استنتاج أن برنامج Outlook يتمتع بأعلى نسبة اكتساب معلومات. بعد ذلك، يجب إيجاد إحصائيات المجموعات الفرعية لمتغير Outlook (مشمس، غائم، ممطر)، وفي هذا المثال، سيتم إنشاء فرع "مشمس" فقط (كما هو موضح في الجدول أدناه):

يمكن للمرء أن يجد الإحصائيات التالية للمتغيرات الأخرى (درجة الحرارة والرطوبة والرياح) لمعرفة أيها له التأثير الأكبر على عنصر الشمس في متغير التوقعات:

وُجد أن الرطوبة تتمتع بأعلى نسبة اكتساب معلومات. سنكرر نفس الخطوات السابقة ونجد الإحصائيات الخاصة بحالات متغير الرطوبة (مرتفعة وعادية):

بما أن قيم اللعب إما كلها "لا" أو "نعم"، فإن قيمة نسبة اكتساب المعلومات ستكون مساوية لـ 1. أيضًا، الآن وقد وصل المرء إلى نهاية سلسلة المتغيرات مع كون الرياح هو المتغير الأخير المتبقي، يمكنهم بناء خط فرعي كامل من الجذر إلى عقدة الورقة لشجرة القرار.

بعد الوصول إلى هذه العقدة الطرفية، يُتبع الإجراء نفسه لبقية العناصر التي لم تُقسّم بعد في شجرة القرار. كانت هذه المجموعة من البيانات صغيرة نسبيًا، ولكن عند استخدام مجموعة أكبر، تبرز مزايا استخدام نسبة اكتساب المعلومات كعامل تقسيم في شجرة القرار بشكل أوضح.

نسبة اكتساب المعلومات تُؤثر على شجرة القرار وتمنعها من النظر في السمات التي تحتوي على عدد كبير من القيم المتميزة.

على سبيل المثال، لنفترض أننا نبني شجرة قرارات لبيانات تصف عملاء شركة ما. تُستخدم نسبة اكتساب المعلومات لتحديد السمات الأكثر صلة. سيتم اختبار هذه السمات بالقرب من جذر الشجرة. قد تكون إحدى سمات الإدخال هي رقم هاتف العميل . تتميز هذه السمة بنسبة اكتساب معلومات عالية، لأنها تُعرّف كل عميل بشكل فريد. ونظرًا لكثرة قيمها المختلفة، لن يتم اختيارها للاختبار بالقرب من الجذر.

على الرغم من أن نسبة اكتساب المعلومات تحل المشكلة الأساسية لاكتساب المعلومات، إلا أنها تخلق مشكلة أخرى. فإذا أخذنا في الاعتبار عددًا من السمات ذات عدد كبير من القيم المميزة، فلن تتجاوز هذه النسبة أبدًا سمة ذات عدد أقل من القيم المميزة.

• يكمن قصور اكتساب المعلومات في عدم توفير فرق عددي بين السمات ذات القيم المميزة العالية وتلك التي لها قيم أقل.
  • مثال: لنفترض أننا نبني شجرة قرارات لبيانات تصف عملاء شركة ما. يُستخدم كسب المعلومات عادةً لتحديد السمات الأكثر صلة، بحيث يمكن اختبارها بالقرب من جذر الشجرة. قد تكون إحدى سمات الإدخال رقم بطاقة ائتمان العميل . تتميز هذه السمة بكسب معلومات عالٍ، لأنها تُعرّف كل عميل بشكل فريد، لكننا لا نرغب في تضمينها في شجرة القرارات: فمن غير المرجح أن يُعمّم قرار كيفية التعامل مع عميل بناءً على رقم بطاقته الائتمانية على عملاء لم نتعامل معهم من قبل.
• تكمن قوة نسبة اكتساب المعلومات في أنها تميل نحو السمات ذات العدد الأقل من القيم المميزة.
• فيما يلي جدول يصف الاختلافات بين اكتساب المعلومات ونسبة اكتساب المعلومات عند وضعها في سيناريوهات معينة.

• زيادة المعلومات في أشجار القرار
• الإنتروبيا (نظرية المعلومات)