Decision tree learning

يمكن استخدام مقياس بسيط وفعال لتحديد مدى تفوق النتائج الإيجابية الصحيحة على النتائج الإيجابية الخاطئة (انظر مصفوفة الارتباك ). هذا المقياس، "تقدير صحة النتائج الإيجابية"، مُعرَّف أدناه:

${\displaystyle E_{P}=TP-FP}$

في هذه المعادلة، يُطرح إجمالي النتائج الإيجابية الخاطئة (FP) من إجمالي النتائج الإيجابية الصحيحة (TP). يُعطي الناتج تقديرًا لعدد الأمثلة الإيجابية التي يمكن للميزة تحديدها بشكل صحيح ضمن البيانات، حيث تشير الأرقام الأعلى إلى قدرة الميزة على تصنيف المزيد من العينات الإيجابية بشكل صحيح. فيما يلي مثال على كيفية استخدام هذا المقياس عند توفر مصفوفة الارتباك الكاملة لميزة معينة:

الميزة أ: مصفوفة الارتباك

هنا نلاحظ أن قيمة TP ستكون 8 وقيمة FP ستكون 2 (الأرقام المسطرة في الجدول). عند تعويض هذه الأرقام في المعادلة، يمكننا حساب التقدير.${\displaystyle E_{p}=TP-FP=8-2=6}$وهذا يعني أن استخدام التقدير على هذه الميزة سيجعلها تحصل على درجة 6.

مع ذلك، تجدر الإشارة إلى أن هذا الرقم مجرد تقدير. على سبيل المثال، إذا كانت قيمة FP لكلا الميزتين تساوي 2، بينما كانت قيمة TP لإحدى الميزتين أعلى، فسيتم تصنيف تلك الميزة أعلى من الأخرى لأن التقدير الناتج عند استخدام المعادلة سيعطي قيمة أعلى. قد يؤدي هذا إلى بعض عدم الدقة عند استخدام المقياس إذا كانت بعض الميزات تحتوي على عينات إيجابية أكثر من غيرها. ولمعالجة هذه المشكلة، يمكن استخدام مقياس أكثر فعالية يُعرف باسم الحساسية ، والذي يأخذ في الاعتبار نسب القيم من مصفوفة الارتباك لإعطاء معدل الإيجابية الحقيقية (TPR). يوضح المثال أدناه الفرق بين هذين المقياسين:

الميزة أ: مصفوفة الارتباك الفئة المتوقعة الفئة الفعلية سرطان غير سرطاني سرطان 8 3 غير سرطاني 2 5	مصفوفة الارتباك للميزة ب الفئة المتوقعة الفئة الفعلية سرطان غير سرطاني سرطان 6 2 غير سرطاني 2 8
${\displaystyle E_{p}=TP-FP=8-2=6}$ ${\displaystyle TPR=TP/(TP+FN)=8/(8+3)\approx 0.73}$	${\displaystyle E_{p}=TP-FP=6-2=4}$ ${\displaystyle TPR=TP/(TP+FN)=6/(6+2)=0.75}$

في هذا المثال، قُدِّرَت قيمة الخاصية "أ" بـ 6، وبلغ معدل الإيجابية الحقيقية (TPR) حوالي 0.73، بينما قُدِّرَت قيمة الخاصية "ب" بـ 4، وبلغ معدل الإيجابية الحقيقية 0.75. يُبيّن هذا أنه على الرغم من أن القيمة التقديرية الإيجابية لبعض الخصائص قد تكون أعلى، إلا أن القيمة الأكثر دقة لمعدل الإيجابية الحقيقية لتلك الخاصية قد تكون أقل مقارنةً بخصائص أخرى ذات قيمة تقديرية إيجابية أقل. بناءً على الحالة ومعرفة البيانات وأشجار القرار، قد يختار المستخدم استخدام القيمة التقديرية الإيجابية لحل سريع وسهل لمشكلته. من ناحية أخرى، يُرجَّح أن يُفضِّل المستخدم الأكثر خبرة استخدام قيمة معدل الإيجابية الحقيقية لترتيب الخصائص، لأنها تأخذ في الاعتبار نسب البيانات وجميع العينات التي كان ينبغي تصنيفها على أنها إيجابية.

يُستخدم مؤشر جيني للتنوع ، ^{أو مؤشر جيني} -سيمبسون ، في أبحاث التنوع البيولوجي، ضمن خوارزمية CART (شجرة التصنيف والانحدار) ^لأشجار التصنيف. ويُعرّف مؤشر جيني للتنوع بأنه احتمال تصنيف عنصر مُختار عشوائيًا من مجموعة ما تصنيفًا خاطئًا إذا تم تصنيفه عشوائيًا وبشكل مستقل وفقًا لتوزيع التصنيفات في المجموعة. ويبلغ هذا المؤشر أدنى قيمة له (صفرًا) عندما تندرج جميع الحالات في العقدة ضمن فئة هدف واحدة.

لمجموعة من العناصر مع${\displaystyle J}$الفئات والتكرارات النسبية${\displaystyle p_{i}}$،${\displaystyle i\in \{1,2,...,J\}}$، احتمال اختيار عنصر يحمل علامة${\displaystyle i}$يكون${\displaystyle p_{i}}$واحتمالية تصنيف هذا العنصر بشكل خاطئ هي${\displaystyle \sum _{k\neq i}p_{k}=1-p_{i}}$يتم حساب معامل جيني للشوائب عن طريق جمع حاصل ضرب هذه الاحتمالات لكل تصنيف فئة:

${\displaystyle \operatorname {I} _{G}(p)=\sum _{i=1}^{J}\left(p_{i}\sum _{k\neq i}p_{k}\right)=\sum _{i=1}^{J}p_{i}(1-p_{i})=\sum _{i=1}^{J}(p_{i}-p_{i}^{2})=\sum _{i=1}^{J}p_{i}-\sum _{i=1}^{J}p_{i}^{2}=1-\sum _{i=1}^{J}p_{i}^{2}.}$

يُعدّ معامل جيني للشوائب مقياسًا لنظرية المعلومات، ويتوافق مع إنتروبيا تساليس بمعامل التشوه.${\displaystyle q=2}$وهو ما يرتبط في الفيزياء بنقص المعلومات في الأنظمة غير المتوازنة وغير الشاملة والمبددة والكمية. بالنسبة للحد${\displaystyle q\to 1}$يستعيد المرء إنتروبيا بولتزمان-جيبس أو شانون المعتادة. وبهذا المعنى، فإن شوائب جيني ليست سوى شكل مختلف من مقياس الإنتروبيا المعتاد لأشجار القرار.

يعتمد اكتساب المعلومات ، المستخدم في خوارزميات توليد الأشجار ID3 و C4.5 و C5.0، على مفهوم الإنتروبيا ومحتوى المعلومات من نظرية المعلومات .

يُعرَّف الإنتروبيا كما يلي

${\displaystyle \mathrm {H} (T)=\operatorname {I} _{E}\left(p_{1},p_{2},\ldots ,p_{J}\right)=-\sum _{i=1}^{J}p_{i}\log _{2}p_{i}}$

أين${\displaystyle p_{1},p_{2},\ldots }$هي كسور مجموعها يساوي 1 وتمثل النسبة المئوية لكل فئة موجودة في العقدة الفرعية الناتجة عن انقسام في الشجرة. ^{[ 27 ]}

$${\displaystyle \overbrace {IG(T,a)} ^{\text{مكسب المعلومات}}=\overbrace {\mathrm {H} (T)} ^{\text{إنتروبيا (الأصل)}}-\overbrace {\mathrm {H} (T\mid a)} ^{\text{مجموع الإنتروبيا (الأبناء)}}}$$${\displaystyle =-\sum _{i=1}^{J}p_{i}\log _{2}p_{i}-\sum _{i=1}^{J}-\Pr(i\mid a)\log _{2}\Pr(i\mid a)}$

حساب المتوسط ​​على القيم المحتملة لـ${\displaystyle A}$،

$${\displaystyle \overbrace {E_{A}(\operatorname {IG} (T,a))} ^{\text{مكسب المعلومات المتوقع}}=\overbrace {I(T;A)} ^{{\text{المعلومات المتبادلة بين }}T{\text{ و }}A}=\overbrace {\mathrm {H} (T)} ^{\text{إنتروبيا (الأصل)}}-\overbrace {\mathrm {H} (T\mid A)} ^{\text{المجموع المرجح للإنتروبيات (الأبناء)}}}$$${\displaystyle =-\sum _{i=1}^{J}p_{i}\log _{2}p_{i}-\sum _{a}p(a)\sum _{i=1}^{J}-\Pr(i\mid a)\log _{2}\Pr(i\mid a)}$

حيث يُعطى المجموع المرجح للإنتروبيات بالصيغة التالية:

${\displaystyle {\mathrm {H} (T\mid A)}=\sum _{a}p(a)\sum _{i=1}^{J}-\Pr(i\mid a)\log _{2}\Pr(i\mid a)}$

أي أن المكسب المعلوماتي المتوقع هو المعلومات المتبادلة ، مما يعني أن الانخفاض في إنتروبيا T في المتوسط ​​هو المعلومات المتبادلة.

يُستخدم كسب المعلومات لتحديد الميزة التي سيتم التقسيم بناءً عليها في كل خطوة من خطوات بناء الشجرة. ولأن البساطة هي الأفضل، نسعى للحفاظ على صغر حجم الشجرة. ولتحقيق ذلك، يجب علينا في كل خطوة اختيار التقسيم الذي ينتج عنه أكثر العقد الفرعية اتساقًا. يُطلق على مقياس الاتساق الشائع اسم " المعلومات " ، ويُقاس بالبتات . بالنسبة لكل عقدة في الشجرة، تمثل قيمة المعلومات "كمية المعلومات المتوقعة اللازمة لتحديد ما إذا كان ينبغي تصنيف حالة جديدة بنعم أو لا، بافتراض وصول المثال إلى تلك العقدة". ^{[ 27 ]}

لنفترض مجموعة بيانات نموذجية بأربعة خصائص: حالة الطقس (مشمس، غائم، ممطر)، درجة الحرارة (حار، معتدل، بارد)، الرطوبة (عالية، طبيعية)، والرياح (صحيح، خطأ)، مع متغير هدف ثنائي (نعم أو لا) يُسمى " اللعب" ، و14 نقطة بيانات. لبناء شجرة قرار على هذه البيانات، نحتاج إلى مقارنة كسب المعلومات لكل شجرة من أربع أشجار، كل منها مقسمة بناءً على إحدى الخصائص الأربع. سيتم اعتماد التقسيم ذي أعلى كسب معلومات كأول تقسيم، وستستمر العملية حتى تتطابق بيانات جميع العقد الفرعية، أو حتى يصبح كسب المعلومات صفرًا.

لحساب مقدار المعلومات المكتسبة من عملية التقسيم باستخدام برنامج Windy ، يجب أولاً حساب المعلومات الموجودة في البيانات قبل التقسيم. احتوت البيانات الأصلية على تسع إجابات بنعم وخمس إجابات بلا.

${\displaystyle I_{E}([9,5])=-{\frac {9}{14}}\log _{2}{\frac {9}{14}}-{\frac {5}{14}}\log _{2}{\frac {5}{14}}=0.94}$

ينتج عن تقسيم البيانات باستخدام خاصية "الرياح" عقدتان فرعيتان، إحداهما لقيمة "الرياح" تساوي "صحيح"، والأخرى لقيمة "الرياح" تساوي "خطأ". في هذه المجموعة من البيانات، توجد ست نقاط بيانات بقيمة "الرياح" صحيحة ، ثلاث منها بقيمة " اللعب" (حيث "اللعب" هو المتغير المستهدف) تساوي "نعم"، وثلاث بقيمة "اللعب" تساوي "لا". أما نقاط البيانات الثماني المتبقية بقيمة "الرياح" خاطئة، فتحتوي على نقطتين "لا" وست نقاط "نعم". تُحسب معلومات العقدة "الرياح = صحيح" باستخدام معادلة الإنتروبيا المذكورة أعلاه. وبما أن عدد نقاط "نعم" و"لا" متساوٍ في هذه العقدة، فإننا نحصل على

${\displaystyle I_{E}([3,3])=-{\frac {3}{6}}\log _{2}{\frac {3}{6}}-{\frac {3}{6}}\log _{2}{\frac {3}{6}}=-{\frac {1}{2}}\log _{2}{\frac {1}{2}}-{\frac {1}{2}}\log _{2}{\frac {1}{2}}=1}$

بالنسبة للعقدة التي تكون فيها قيمة windy = false، كانت هناك ثماني نقاط بيانات، ست منها بنعم واثنتان بلا. وبالتالي لدينا

${\displaystyle I_{E}([6,2])=-{\frac {6}{8}}\log _{2}{\frac {6}{8}}-{\frac {2}{8}}\log _{2}{\frac {2}{8}}=-{\frac {3}{4}}\log _{2}{\frac {3}{4}}-{\frac {1}{4}}\log _{2}{\frac {1}{4}}=0.81}$

لإيجاد معلومات التقسيم، نأخذ المتوسط ​​المرجح لهذين الرقمين بناءً على عدد الملاحظات التي وقعت في كل عقدة.

${\displaystyle I_{E}([3,3],[6,2])=I_{E}({\text{windy or not}})={\frac {6}{14}}\cdot 1+{\frac {8}{14}}\cdot 0.81=0.89}$

الآن يمكننا حساب مقدار المعلومات المكتسبة من خلال التقسيم بناءً على خاصية الرياح .

${\displaystyle \operatorname {IG} ({\text{windy}})=I_{E}([9,5])-I_{E}([3,3],[6,2])=0.94-0.89=0.05}$

لبناء الشجرة، يجب حساب مقدار المعلومات المكتسبة من كل تقسيم أولي ممكن. أفضل تقسيم أولي هو الذي يوفر أكبر قدر من المعلومات المكتسبة. تُكرر هذه العملية لكل عقدة غير نقية حتى تكتمل الشجرة. هذا المثال مقتبس من المثال الوارد في ويتن وآخرون ^{[ 27 ] .}

يُعرف اكتساب المعلومات أيضًا باسم مؤشر شانون في أبحاث التنوع البيولوجي.

يُستخدم تقليل التباين، الذي طُرح في خوارزمية CART ^{[ 7 ]} ، غالبًا في الحالات التي يكون فيها المتغير المستهدف متصلًا (شجرة الانحدار)، مما يعني أن استخدام العديد من المقاييس الأخرى يتطلب أولًا تحويل المتغير المستهدف إلى متغير منفصل قبل تطبيقه. يُعرَّف تقليل التباين للعقدة N بأنه إجمالي انخفاض تباين المتغير المستهدف Y نتيجةً للتقسيم عند هذه العقدة.

${\displaystyle I_{V}(N)={\frac {1}{|S|^{2}}}\sum _{i\in S}\sum _{j\in S}{\frac {1}{2}}(y_{i}-y_{j})^{2}-\left({\frac {|S_{t}|}{|S|}}{\frac {1}{|S_{t}|^{2}}}\sum _{i\in S_{t}}\sum _{j\in S_{t}}{\frac {1}{2}}(y_{i}-y_{j})^{2}+{\frac {|S_{f}|}{|S|}}{\frac {1}{|S_{f}|^{2}}}\sum _{i\in S_{f}}\sum _{j\in S_{f}}{\frac {1}{2}}(y_{i}-y_{j})^{2}\right)}$

أين${\displaystyle S}$،${\displaystyle S_{t}}$، و${\displaystyle S_{f}}$تمثل هذه المجموعات مؤشرات العينة قبل التقسيم، ومؤشرات العينة التي يكون اختبار التقسيم صحيحًا بالنسبة لها، ومؤشرات العينة التي يكون اختبار التقسيم خاطئًا بالنسبة لها، على التوالي. كل حد من الحدود المذكورة أعلاه هو في الواقع تقدير للتباين ، مكتوب بصيغة لا تشير مباشرة إلى المتوسط.

عن طريق الاستبدال${\displaystyle (y_{i}-y_{j})^{2}}$في الصيغة أعلاه مع عدم التشابه${\displaystyle d_{ij}}$بين جسمين${\displaystyle i}$و${\displaystyle j}$ينطبق معيار تقليل التباين على أي نوع من الكائنات التي يمكن حساب الاختلافات الزوجية بينها. ^{[ 1 ]}

استُخدم مقياس "الجودة" في خوارزمية CART عام 1984، ^{[ 28 ]} وهو عبارة عن دالة تسعى إلى تحقيق التوازن الأمثل بين قدرة التقسيم المرشح على إنشاء أبناء نقيين وقدرته على إنشاء أبناء متساوين في الحجم. وتُكرر هذه العملية لكل عقدة غير نقية حتى تكتمل الشجرة.${\displaystyle \varphi (s\mid t)}$، أين${\displaystyle s}$هو مرشح للانقسام عند العقدة${\displaystyle t}$، ويتم تعريفها على النحو التالي

${\displaystyle \varphi (s\mid t)=2P_{L}P_{R}\sum _{j=1}^{\text{class count}}|P(j\mid t_{L})-P(j\mid t_{R})|}$

أين${\displaystyle t_{L}}$و${\displaystyle t_{R}}$هما الابنان الأيسر والأيمن للعقدة${\displaystyle t}$استخدام التقسيم${\displaystyle s}$، على التوالى؛${\displaystyle P_{L}}$و${\displaystyle P_{R}}$هي نسب السجلات في${\displaystyle t}$في${\displaystyle t_{L}}$و${\displaystyle t_{R}}$على التوالي؛ و${\displaystyle P(j\mid t_{L})}$و${\displaystyle P(j\mid t_{R})}$هي نسب الطبقة${\displaystyle j}$السجلات في${\displaystyle t_{L}}$و${\displaystyle t_{R}}$، على التوالى.

لنفترض مجموعة بيانات نموذجية بثلاث سمات: المدخرات (منخفضة، متوسطة، مرتفعة)، والأصول (منخفضة، متوسطة، مرتفعة)، والدخل (قيمة عددية)، ومتغير ثنائي مستهدف هو مخاطر الائتمان (جيدة، سيئة) و8 نقاط بيانات. ^{[ 28 ]} البيانات الكاملة معروضة في الجدول أدناه. لبدء شجرة القرار، سنحسب القيمة القصوى لـ${\displaystyle \varphi (s\mid t)}$باستخدام كل ميزة لتحديد أيها سيؤدي إلى تقسيم العقدة الجذرية. ستستمر هذه العملية حتى تصبح جميع العقد الفرعية نقية أو جميعها${\displaystyle \varphi (s\mid t)}$القيم أقل من الحد الأدنى المحدد.

للعثور على${\displaystyle \varphi (s\mid t)}$من بين وفورات الميزة ، نحتاج إلى تحديد كمية كل قيمة. احتوت البيانات الأصلية على ثلاث قيم منخفضة، وثلاث قيم متوسطة، وقيمتين مرتفعتين. من بين القيم المنخفضة، كانت قيمة واحدة ذات مخاطر ائتمانية جيدة ، بينما من بين القيم المتوسطة والمرتفعة، كانت أربع قيم ذات مخاطر ائتمانية جيدة . لنفترض تقسيمًا مرشحًا${\displaystyle s}$بحيث يتم وضع السجلات ذات المدخرات المنخفضة في الفرع الأيسر، ويتم وضع جميع السجلات الأخرى في الفرع الأيمن.

${\displaystyle \varphi (s\mid {\text{root}})=2\cdot {\frac {3}{8}}\cdot {\frac {5}{8}}\cdot \left(\left|\left({\frac {1}{3}}-{\frac {4}{5}}\right)\right|+\left|\left({\frac {2}{3}}-{\frac {1}{5}}\right)\right|\right)=0.44}$

لبناء الشجرة، يجب حساب "جودة" جميع التقسيمات المرشحة للعقدة الجذرية. سيتم تقسيم العقدة الجذرية بالتقسيم المرشح ذي القيمة القصوى، وتستمر هذه العملية لكل عقدة غير نقية حتى تكتمل الشجرة.

بالمقارنة مع مقاييس أخرى مثل اكتساب المعلومات، يسعى مقياس "الجودة" إلى إنشاء شجرة أكثر توازناً، مما يؤدي إلى وقت اتخاذ قرار أكثر اتساقاً. مع ذلك، فإنه يضحي ببعض الأولوية لإنشاء فروع نقية، مما قد يؤدي إلى انقسامات إضافية غير موجودة في المقاييس الأخرى.

من بين طرق استخراج البيانات الأخرى، تتمتع أشجار القرار بمزايا عديدة:

• سهلة الفهم والتفسير. يستطيع الناس فهم نماذج شجرة القرار بعد شرح موجز. كما يمكن عرض الأشجار بيانياً بطريقة يسهل على غير المتخصصين تفسيرها. ^{[ 29 ]}
• قادر على التعامل مع البيانات العددية والفئوية على حد سواء . ^{[ 29 ]} عادةً ما تتخصص التقنيات الأخرى في تحليل مجموعات البيانات التي تحتوي على نوع واحد فقط من المتغيرات. (على سبيل المثال، لا يمكن استخدام قواعد العلاقات إلا مع المتغيرات الاسمية، بينما لا يمكن استخدام الشبكات العصبية إلا مع المتغيرات العددية أو الفئوية المحولة إلى قيم ثنائية 0-1). كانت أشجار القرار المبكرة قادرة فقط على التعامل مع المتغيرات الفئوية، لكن الإصدارات الأحدث، مثل C4.5، لا تعاني من هذا القيد. ^{[ 3 ]}
• لا يتطلب الأمر سوى القليل من إعداد البيانات. أما التقنيات الأخرى فغالباً ما تتطلب تسوية البيانات. وبما أن الأشجار يمكنها التعامل مع المتغيرات التنبؤية النوعية، فلا حاجة لإنشاء متغيرات وهمية . ^{[ 29 ]}
• يستخدم نموذج الصندوق الأبيض أو الصندوق المفتوح ^{[ 3 ]} . إذا كانت حالة معينة قابلة للملاحظة في النموذج، فإن تفسير الحالة يكون سهلاً باستخدام المنطق البولياني . على النقيض من ذلك، في نموذج الصندوق الأسود ، يكون تفسير النتائج عادةً صعب الفهم، كما هو الحال مع الشبكة العصبية الاصطناعية .
• من الممكن التحقق من صحة النموذج باستخدام الاختبارات الإحصائية. وهذا يتيح مراعاة موثوقية النموذج.
• أسلوب غير بارامتري لا يفترض أي افتراضات بشأن بيانات التدريب أو بواقي التنبؤ؛ على سبيل المثال، لا يفترض التوزيع أو الاستقلال أو ثبات التباين.
• يُظهر أداءً جيدًا مع مجموعات البيانات الكبيرة. يمكن تحليل كميات كبيرة من البيانات باستخدام موارد الحوسبة القياسية في وقت معقول.
• الدقة مع النمذجة المرنة . يمكن تطبيق هذه الأساليب على أبحاث الرعاية الصحية بدقة متزايدة. ^{[ 30 ]}
• يعكس هذا النهج عملية اتخاذ القرار البشري بشكل أدق من غيره من الأساليب. ^{[ 29 ]} وقد يكون هذا مفيدًا عند نمذجة القرارات/السلوك البشري.
• مقاوم للارتباط الخطي، وخاصة التعزيز.
• اختيار الميزات المدمج . سيتم استخدام الميزات الإضافية غير ذات الصلة بشكل أقل، بحيث يمكن إزالتها في عمليات التشغيل اللاحقة. يعكس تسلسل السمات في شجرة القرار أهمية كل سمة. ^{[ 31 ]} وهذا يعني أن السمات الموجودة في الأعلى هي الأكثر إفادة. ^{[ 32 ]}
• يمكن لأشجار القرار أن تقارب أي دالة منطقية مثل XOR . ^{[ 33 ]}

• قد تكون الأشجار غير قوية للغاية. يمكن أن يؤدي تغيير طفيف في بيانات التدريب إلى تغيير كبير في الشجرة وبالتالي في التنبؤات النهائية. ^{[ 29 ]}
• من المعروف أن مشكلة تعلم شجرة القرار المثلى تُصنف ضمن مسائل NP-complete في جوانب عديدة من الأمثلية، حتى بالنسبة للمفاهيم البسيطة. ^{[ 34 ] [ 35 ]} ونتيجةً لذلك، تعتمد خوارزميات تعلم شجرة القرار العملية على أساليب استدلالية، مثل الخوارزمية الجشعة، حيث تُتخذ القرارات المثلى محليًا عند كل عقدة. ولا تضمن هذه الخوارزميات إرجاع شجرة القرار المثلى عالميًا. وللحد من تأثير الجشع الناتج عن الأمثلية المحلية، اقتُرحت بعض الطرق، مثل شجرة مسافة المعلومات المزدوجة (DID). ^{[ 36 ]}
• قد تُنشئ خوارزميات تعلم أشجار القرار أشجارًا بالغة التعقيد لا تُعمّم جيدًا من بيانات التدريب. (يُعرف هذا باسم التجاوز ^{[ 37 ]} ) . وتُعدّ آليات مثل التقليم ضرورية لتجنب هذه المشكلة (باستثناء بعض الخوارزميات مثل أسلوب الاستدلال الشرطي، الذي لا يتطلب التقليم). ^{[ 21 ] [ 22 ]}
• لا يُضمن أن يكون متوسط ​​عمق الشجرة، الذي يُحدد بعدد العقد أو الاختبارات حتى التصنيف، أدنى أو أصغر في ظل معايير التقسيم المختلفة. ^{[ 38 ]}
• بالنسبة للبيانات التي تتضمن متغيرات فئوية ذات مستويات مختلفة، يكون اكتساب المعلومات في أشجار القرار منحازًا لصالح السمات ذات المستويات الأكثر. ^{[ 39 ]} ولمعالجة هذه المشكلة، بدلًا من اختيار السمة ذات أعلى اكتساب معلومات ، يمكن اختيار السمة ذات أعلى نسبة اكتساب معلومات من بين السمات التي يزيد اكتساب معلوماتها عن متوسط ​​اكتساب المعلومات. ^{[ 40 ]} يؤدي هذا إلى تحيز شجرة القرار ضد النظر في السمات ذات العدد الكبير من القيم المتميزة، دون إعطاء ميزة غير عادلة للسمات ذات اكتساب المعلومات المنخفض جدًا. بدلاً من ذلك، يمكن تجنب مشكلة اختيار المتنبئ المتحيز من خلال أسلوب الاستدلال الشرطي، ^{[ 21 ]} أو أسلوب من مرحلتين، ^{[ 41 ]} أو اختيار السمات التكيفي بحذف عنصر واحد. ^{[ 42 ]}

توفر العديد من حزم برامج استخراج البيانات تطبيقات لخوارزمية واحدة أو أكثر من خوارزميات شجرة القرار (مثل الغابة العشوائية).

تتضمن أمثلة المصادر المفتوحة ما يلي:

• ALGLIB ، مكتبة تحليل عددي بلغات C++ و C# و Java مع ميزات تحليل البيانات (الغابة العشوائية)
• KNIME ، منصة مجانية ومفتوحة المصدر لتحليل البيانات وإعداد التقارير وتكاملها (أشجار القرار، الغابة العشوائية)
• أورانج ، مجموعة أدوات مفتوحة المصدر لتصور البيانات والتعلم الآلي واستخراج البيانات (الغابة العشوائية)
• R (بيئة برمجية مفتوحة المصدر للحوسبة الإحصائية، والتي تتضمن العديد من تطبيقات CART مثل حزم rpart و party و randomForest)،
• scikit-learn (مكتبة تعلم آلي مجانية ومفتوحة المصدر للغة البرمجة بايثون ).
• ويكا (مجموعة برامج مجانية ومفتوحة المصدر لاستخراج البيانات، تحتوي على العديد من خوارزميات شجرة القرار)،

برامج تجارية بارزة:

• MATLAB
• خادم مايكروسوفت SQL
• رابيدماينر
• برنامج تعدين المؤسسات SAS
• برنامج IBM SPSS Modeler

في شجرة القرار، تسير جميع المسارات من العقدة الجذرية إلى العقدة الطرفية عبر الربط ( AND ). أما في مخطط القرار، فيمكن استخدام الفصل (OR) لربط مسارين أو أكثر باستخدام الحد الأدنى لطول الرسالة (MML). ^{[ 43 ]} وقد تم توسيع مخططات القرار للسماح بتعلم سمات جديدة غير مُعلنة سابقًا بشكل ديناميكي واستخدامها في أماكن مختلفة داخل المخطط. ^{[ 44 ]} ينتج عن نظام الترميز الأكثر عمومية دقة تنبؤية أفضل ونتائج احتمالية أفضل لخسارة اللوغاريتم. وبشكل عام، تستنتج مخططات القرار نماذج ذات عدد أقل من الأوراق مقارنةً بأشجار القرار.

استُخدمت الخوارزميات التطورية لتجنب القرارات المثلى المحلية والبحث في فضاء شجرة القرار مع تحيز مسبق ضئيل . ^{[ 45 ] [ 46 ]}

من الممكن أيضًا أخذ عينة من الشجرة باستخدام MCMC . ^{[ 47 ]}

يمكن البحث في الشجرة بطريقة تصاعدية. ^{[ 48 ]} أو يمكن إنشاء عدة أشجار بالتوازي لتقليل العدد المتوقع للاختبارات حتى التصنيف. ^{[ 38 ]}