مشكلة الأنواع غير المرئية

طُوِّر مُقدِّر غود-تولمين (GT) بواسطة غود وتولمين عام 1953. ^{[ 4 ]} ويُعطى تقدير الأنواع غير المرئية بناءً على مُقدِّر غود-تولمين بالصيغة التالية: $${\displaystyle U^{\text{GT}}\triangleq U^{\text{GT}}(X^{n},t)\triangleq -\sum _{i=1}^{\infty }(-t)^{i}\varphi _{i}.}$$ لقد ثبت أن مقدر جود-تولمين هو تقدير جيد لقيم${\displaystyle t\leq 1.}$كما أن مقدر جود-تولمين يحقق تقريبًا ما يلي: $${\displaystyle \operatorname {\mathbb {E} } (U^{\text{GT}}-U)^{2}\lesssim nt^{2}.}$$ هذا يعني أن${\displaystyle U^{\text{GT}}}$تقديرات${\displaystyle U}$إلى الداخل${\displaystyle {\sqrt {n}}\cdot t,}$طالما${\displaystyle t\leq 1.}$

لكن بالنسبة لـ${\displaystyle t>1,}$يفشل مُقدِّر غود-تولمين في الحصول على نتائج دقيقة. وذلك لأنه إذا${\displaystyle t>1,}$${\displaystyle U^{\text{GT}}}$زيادة بنسبة${\displaystyle (-t)^{i}\varphi _{i}}$ل${\displaystyle i}$مع${\displaystyle \varphi _{i}>0,}$بمعنى أنه إذا${\displaystyle \varphi _{i}>0,}$${\displaystyle U^{\text{GT}}}$ينمو بشكل فائق الخطية في${\displaystyle t,}$لكن${\displaystyle U}$يمكن أن ينمو بشكل خطي على الأكثر مع${\displaystyle t.}$لذلك، عندما${\displaystyle t>1,}$${\displaystyle U^{\text{GT}}}$ينمو أسرع من${\displaystyle U}$ولا يقترب من القيمة الحقيقية. ^{[ 3 ]}

وللتعويض عن ذلك، أظهر إيفرون وثيستيد في عام 1976 ^{[ 1 ]} أن تحويل أويلر المقتطع يمكن أن يكون أيضًا تقديرًا قابلاً للاستخدام (تقدير "ET"): $${\displaystyle U^{\text{ET}}\triangleq \sum _{i=1}^{n}h_{h}^{\text{ET}}\cdot \varphi _{i},}$$ مع $${\displaystyle h_{i}^{\text{ET}}\triangleq (-t)^{i+1}\cdot \mathbb {P} (X\geq i),}$$ أين${\displaystyle X\sim \operatorname {Bin} \left(k,{\frac {1}{1+t}}\right),}$و $${\displaystyle \mathbb {P} (X\geq i)={\begin{cases}\displaystyle \sum _{j=i}^{k}{\binom {k}{j}}{\frac {t^{kj}}{(1+t)^{k}}}&{\text{ لـ }}i\leq k,\\0&{\text{ لـ }}i>k,\end{cases}}}$$ أين${\displaystyle k}$هو الموقع الذي تم اختياره لقطع تحويل أويلر.

على غرار منهج إيفرون وثيستيد، طوّر كلٌّ من ألون أورليتسكي ، وأناندا ثيرثا سوريش، وييهونغ وو، مُقدِّر غود-تولمين السلس. وقد أدركوا أن فشل مُقدِّر غود-تولمين يعود إلى النمو الأسي، وليس إلى تحيُّزه. ^{[ 3 ]} ولذلك، قدّروا عدد الأنواع غير المرئية عن طريق اقتطاع السلسلة. $${\displaystyle U^{l}\triangleq -\sum _{i=1}^{l}(-t)^{i}\varphi _{i}.}$$ وأشار كل من أورليتسكي وسوريش وو أيضًا إلى أن التوزيعات ذات${\displaystyle t>1}$، الحد الرئيسي في تقدير المجموع هو${\displaystyle l-{\text{th}}}$المصطلح، بغض النظر عن قيمة${\displaystyle l}$^{[ 2 ]} لحل هذه المسألة، اختاروا عددًا صحيحًا عشوائيًا غير سالب .${\displaystyle L}$، واختصر السلسلة عند${\displaystyle L}$ثم أخذ المتوسط ​​على توزيع حول${\displaystyle L}$[ ^{3 ] المُقدِّر} الناتج هو $${\displaystyle U^{L}=\operatorname {E} _{L}\left[-\sum _{i=1}^{L}(-t)^{i}\varphi _{i}\right].}$$ تم اختيار هذه الطريقة بسبب تحيز${\displaystyle U^{l}}$تغير الإشارات بسبب${\displaystyle (-t)^{i}}$معامل. حساب المتوسط ​​على توزيع من${\displaystyle L}$وبالتالي يقلل من التحيز. وهذا يعني أنه يمكن كتابة المُقدِّر على شكل توليفة خطية للانتشار: ^{[ 2 ]}$${\displaystyle U^{L}=\operatorname {E} _{L}\left[-\sum _{i\geq 1}(-t)^{i}\varphi _{i}\mathbf {1} _{i\leq L}\right]=-\sum _{i\geq 1}(-t)^{i}\Pr(L\geq i)\varphi _{i}.}$$ اعتمادًا على توزيع${\displaystyle L}$ستختلف النتائج باختلاف الخيار المُختار. باستخدام هذه الطريقة، يمكن وضع تقديرات لـ${\displaystyle t\propto \ln n}$وهذا هو الأفضل على الإطلاق. ^{[ 3 ]}

يمكن أيضًا استخدام منحنى اكتشاف الأنواع . يربط هذا المنحنى عدد الأنواع الموجودة في منطقة ما كدالة للزمن. ويمكن إنشاء هذه المنحنيات باستخدام مُقدِّرات (مثل مُقدِّر جود-تولمين) ورسم عدد الأنواع غير المرئية عند كل قيمة.${\displaystyle t}$[ ^{5 ]​}

منحنى اكتشاف الأنواع يتزايد باستمرار، إذ لا توجد عينة يمكن أن تقلل من عدد الأنواع المكتشفة. علاوة على ذلك، يتباطأ منحنى اكتشاف الأنواع أيضًا ؛ فكلما زاد عدد العينات المأخوذة، قلّ عدد الأنواع غير المرئية المتوقع اكتشافها. كما أن منحنى اكتشاف الأنواع لا يصل إلى حد التقارب، إذ يُفترض أنه على الرغم من أن معدل الاكتشاف قد يصبح بطيئًا للغاية، إلا أنه لن يتوقف تمامًا. ^{[ 5 ]} من النماذج الشائعة لمنحنى اكتشاف الأنواع النموذج اللوغاريتمي والنموذج الأسي . 

على سبيل المثال، لننظر إلى البيانات التي قدمها كوربيت لفيشر في أربعينيات القرن العشرين. ^{[ 3 ]} باستخدام نموذج جود-تولمين، يتم إيجاد عدد الأنواع غير المرئية باستخدام $${\displaystyle U=-\sum _{i=1}^{\infty }(-t)^{i}\varphi _{i}.}$$ ويمكن استخدام ذلك بعد ذلك لإنشاء علاقة بين${\displaystyle t}$و${\displaystyle U}$.

البيانات المقدمة إلى فيشر من قبل كوربيت ^{[ 3 ]}

عدد الأعضاء الذين تمت ملاحظتهم،${\displaystyle i}$	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
عدد الأنواع،${\displaystyle \varphi _{i}}$	118	74	44	24	29	22	20	19	20	15	12	14	6	12	6

تظهر هذه العلاقة في الرسم البياني أدناه.

يتضح من الحبكة أنه في${\displaystyle t=1}$، وهو ما يمثل قيمة${\displaystyle t}$ذلك الذي قدمه كوربيت إلى فيشر، التقدير الناتج عن${\displaystyle U}$تبلغ القيمة 75، وهو ما يتطابق مع ما توصل إليه فيشر. كما يمثل هذا الرسم البياني منحنى اكتشاف الأنواع لهذا النظام البيئي، ويحدد عدد الأنواع الجديدة التي سيتم اكتشافها.${\displaystyle t}$يزداد (ويتم أخذ المزيد من العينات).

استنادًا إلى بحثٍ أجراه ثيستيد وإيفرون حول أعمال شكسبير المعروفة، يبلغ إجمالي عدد الكلمات 884,647 كلمة. ^{[ 1 ]} كما وجد البحث أن هناك إجماليًا قدره${\displaystyle N=864}$الكلمات المختلفة التي تظهر أكثر من 100 مرة. وبناءً على ذلك، وُجد أن العدد الإجمالي للكلمات الفريدة هو 31,534 كلمة. ^{[ 1 ]} بتطبيق نموذج جود-تولمين، إذا تم اكتشاف عدد مماثل من أعمال شكسبير، فإنه يُقدّر أن${\displaystyle U^{\text{words}}\approx 11,460}$سيتم العثور على كلمات فريدة. والهدف هو استخلاص${\displaystyle U^{\text{words}}}$ل${\displaystyle t=\infty }$يقدر ثيستيد وإفرون أن${\displaystyle U^{\text{words}}(t\to \infty )\approx 35{,}000}$وهذا يعني أن شكسبير كان على الأرجح يعرف أكثر من ضعف عدد الكلمات التي استخدمها فعلياً في جميع كتاباته. ^{[ 1 ]}