TensorFlow

بدأت جوجل برين في عام 2011 بتطوير نظام DistBelief كنظام تعلّم آلي خاص بها ، يعتمد على الشبكات العصبية للتعلم العميق . وانتشر استخدامه بسرعة في مختلف شركات ألفابت ، سواءً في الأبحاث أو التطبيقات التجارية. ^{[ 12 ] [ 13 ]} وكلّفت جوجل عدداً من علماء الحاسوب، من بينهم جيف دين ، بتبسيط وإعادة هيكلة قاعدة بيانات DistBelief البرمجية، وتحويلها إلى مكتبة أسرع وأكثر كفاءة، والتي أصبحت فيما بعد TensorFlow. ^{[ 14 ]} وفي عام 2009، قام الفريق، بقيادة جيفري هينتون ، بتطبيق خوارزمية الانتشار العكسي المعممة ، بالإضافة إلى تحسينات أخرى، مما أتاح توليد شبكات عصبية بدقة أعلى بكثير، على سبيل المثال، انخفاض بنسبة 25% في أخطاء التعرّف على الكلام . ^{[ 15 ]}

يُعدّ TensorFlow نظام الجيل الثاني من Google Brain. صدرت النسخة 1.0.0 في 11 فبراير 2017. ^{[ 16 ]} بينما يعمل الإصدار المرجعي على جهاز واحد، يمكن تشغيل TensorFlow على وحدات معالجة مركزية ووحدات معالجة رسومية متعددة (مع ملحقات CUDA و SYCL الاختيارية للحوسبة العامة على وحدات معالجة الرسوميات ). ^{[ 17 ]} يتوفر TensorFlow على أنظمة Linux و macOS و Windows (بمعمارية 64 بت) ، ومنصات الحوسبة المحمولة بما في ذلك Android و iOS . ^{[ 18 ] [ 19 ]}

تتيح بنيتها المرنة سهولة نشر الحوسبة عبر مجموعة متنوعة من المنصات (وحدات المعالجة المركزية، ووحدات معالجة الرسومات، ووحدات معالجة الموتر )، ومن أجهزة سطح المكتب إلى مجموعات الخوادم إلى الأجهزة المحمولة وأجهزة الحافة .

تُعبّر حسابات TensorFlow عن نفسها كرسوم بيانية لتدفق البيانات ذات الحالة . ويُشتق اسم TensorFlow من العمليات التي تُجريها هذه الشبكات العصبية على مصفوفات البيانات متعددة الأبعاد، والتي تُعرف باسم الموترات . ^{[ 20 ]} خلال مؤتمر Google I/O في يونيو 2016، ذكر جيف دين أن 1500 مستودع على GitHub ذكرت TensorFlow، منها 5 مستودعات فقط تابعة لشركة Google. ^{[ 21 ]}

في مارس 2018، أعلنت جوجل عن إصدار TensorFlow.js 1.0 للتعلم الآلي في جافا سكريبت . ^{[ 22 ]}

في يناير 2019، أعلنت جوجل عن TensorFlow 2.0. ^{[ 23 ]} وأصبح متاحًا رسميًا في سبتمبر 2019. ^{[ 10 ]}

في مايو 2019، أعلنت جوجل عن TensorFlow Graphics للتعلم العميق في رسومات الحاسوب. ^{[ 24 ]}

في مايو 2016، أعلنت جوجل عن وحدة معالجة Tensor (TPU)، وهي عبارة عن دارة متكاملة خاصة بالتطبيقات ( ASIC ، وهي شريحة أجهزة) مصممة خصيصًا للتعلم الآلي ومُكيّفة مع TensorFlow. تُعدّ وحدة معالجة Tensor مُسرّعًا قابلًا للبرمجة للذكاء الاصطناعي ، مصممًا لتوفير إنتاجية عالية للحسابات منخفضة الدقة (مثل 8 بت )، وموجهًا نحو استخدام النماذج أو تشغيلها بدلًا من تدريبها . أعلنت جوجل أنها كانت تُشغّل وحدات معالجة Tensor داخل مراكز بياناتها لأكثر من عام، ووجدت أنها تُحقق أداءً مُحسّنًا لكل واط أفضل بعشرة أضعاف في مجال التعلم الآلي. ^{[ 25 ]}

في مايو 2017، أعلنت جوجل عن الجيل الثاني من وحدات معالجة الموتر (TPUs)، بالإضافة إلى توفرها في محرك جوجل للحوسبة (Google Compute Engine) . ^{[ 26 ]} توفر وحدات معالجة الموتر من الجيل الثاني أداءً يصل إلى 180 تيرافلوب ، وعند تنظيمها في مجموعات من 64 وحدة معالجة موتر، فإنها توفر أداءً يصل إلى 11.5 بيتافلوب .

في مايو 2018، أعلنت جوجل عن الجيل الثالث من وحدات معالجة Tensor Processing Units (TPUs) التي توفر أداءً يصل إلى 420 تيرافلوب وذاكرة عالية النطاق الترددي (HBM) بسعة 128 جيجابايت. وتوفر وحدات Cloud TPU v3 Pods أداءً يزيد عن 100 بيتافلوب وذاكرة HBM بسعة 32 تيرابايت. ^{[ 27 ]}

في فبراير 2018، أعلنت جوجل أنها ستوفر وحدات معالجة الموتر (TPUs) في مرحلة تجريبية على منصة جوجل السحابية . ^{[ 28 ]}

في يوليو 2018، تم الإعلان عن وحدة معالجة الحوسبة الطرفية (Edge TPU). وحدة معالجة الحوسبة الطرفية هي شريحة ASIC مصممة خصيصًا من جوجل لتشغيل نماذج التعلم الآلي TensorFlow Lite على أجهزة الحوسبة الصغيرة مثل الهواتف الذكية ^{[ 29 ]} والمعروفة باسم الحوسبة الطرفية .

في مايو 2017، أعلنت جوجل عن TensorFlow Lite كحزمة برمجية لدعم نماذج التعلم الآلي للأجهزة المحمولة والمدمجة، وفي نوفمبر من العام نفسه، أتاحت معاينة للمطورين. ^{[ 30 ] [ 31 ]} في يناير 2019، أصدر فريق TensorFlow معاينة للمطورين لمحرك استدلال وحدة معالجة الرسومات للأجهزة المحمولة، مع OpenGL ES 3.1 Compute Shaders على أجهزة أندرويد وMetal Compute Shaders على أجهزة iOS. ^{[ 32 ]} في مايو 2019، أعلنت جوجل عن دمج TensorFlow Lite Micro (المعروف أيضًا باسم TensorFlow Lite for Microcontrollers) مع uTensor من ARM . ^{[ 33 ]} وتم تغيير اسمه إلى LiteRT في عام 2024. ^{[ 34 ]}

مع تراجع حصة TensorFlow في سوق الأبحاث لصالح PyTorch ، ^{[ 35 ]} أعلن فريق TensorFlow عن إصدار نسخة رئيسية جديدة من المكتبة في سبتمبر 2019. أدخلت TensorFlow 2.0 العديد من التغييرات، أبرزها ميزة TensorFlow eager، التي غيّرت آلية التفاضل التلقائي من الرسم البياني الحسابي الثابت إلى آلية "التعريف بالتشغيل" التي اشتهرت بها Chainer ولاحقًا PyTorch . ^{[ 35 ]} وشملت التغييرات الرئيسية الأخرى إزالة المكتبات القديمة، والتوافق بين النماذج المدربة على إصدارات مختلفة من TensorFlow، وتحسينات ملحوظة في الأداء على وحدات معالجة الرسومات (GPU). ^{[ 36 ]}

التفاضل التلقائي هو عملية حساب متجه التدرج لنموذج ما تلقائيًا بالنسبة لكل مُعامل من مُعاملاته. بفضل هذه الميزة، يستطيع TensorFlow حساب التدرجات تلقائيًا لمعاملات النموذج، وهو أمر مفيد لخوارزميات مثل الانتشار العكسي التي تتطلب التدرجات لتحسين الأداء. ^{[ 37 ]} وللقيام بذلك، يجب على الإطار تتبع ترتيب العمليات التي تُجرى على موترات الإدخال في النموذج، ثم حساب التدرجات بالنسبة للمعاملات المناسبة. ^{[ 37 ]}

يتضمن TensorFlow وضع "التنفيذ الفوري"، ما يعني أن العمليات تُقيّم فورًا بدلًا من إضافتها إلى رسم بياني حسابي يُنفّذ لاحقًا. ^{[ 38 ]} يمكن فحص الكود المُنفّذ فوريًا خطوة بخطوة باستخدام مصحح الأخطاء، نظرًا لتحديث البيانات في كل سطر من الكود بدلًا من تحديثها لاحقًا في الرسم البياني الحسابي. ^{[ 38 ]} يُعتبر هذا النموذج من التنفيذ أسهل في تصحيح الأخطاء نظرًا لشفافيته خطوة بخطوة. ^{[ 38 ]}

في كلٍ من التنفيذ الفوري والتنفيذ باستخدام الرسوم البيانية، يوفر TensorFlow واجهة برمجة تطبيقات (API) لتوزيع العمليات الحسابية على أجهزة متعددة باستخدام استراتيجيات توزيع متنوعة. ^{[ 39 ]} غالبًا ما تُسرّع هذه الحوسبة الموزعة عملية تدريب وتقييم نماذج TensorFlow، وهي ممارسة شائعة في مجال الذكاء الاصطناعي. ^{[ 39 ] [ 40 ]}

لتدريب النماذج وتقييمها، يوفر TensorFlow مجموعة من دوال الخسارة (المعروفة أيضًا بدوال التكلفة ). ^{[ 41 ]} ومن الأمثلة الشائعة متوسط ​​مربع الخطأ (MSE) والإنتروبيا التقاطعية الثنائية (BCE). ^{[ 41 ]}

لتقييم أداء نماذج التعلم الآلي، يوفر TensorFlow واجهة برمجة تطبيقات (API) للوصول إلى المقاييس الشائعة الاستخدام. تشمل الأمثلة مقاييس دقة متنوعة (ثنائية، فئوية، فئوية متفرقة) بالإضافة إلى مقاييس أخرى مثل الدقة، والاستدعاء ، وتقاطع الاتحاد (IoU). ^{[ 42 ]}

TensorFlow.nn هي وحدة نمطية لتنفيذ عمليات الشبكات العصبية الأساسية على النماذج. ^{[ 43 ]} تتضمن بعض هذه العمليات أنواعًا مختلفة من الالتفافات (أحادية/ثنائية/ثلاثية الأبعاد، والالتفافات المتباعدة، والالتفافات العميقة)، ودوال التنشيط ( Softmax ، وRELU ، وGELU، و Sigmoid ، وما إلى ذلك) وتنوعاتها، وعمليات أخرى ( التجميع الأقصى ، وإضافة الانحياز، وما إلى ذلك). ^{[ 43 ]}

يُقدّم TensorFlow مجموعة من مُحسِّنات التدريب للشبكات العصبية، بما في ذلك ADAM و ADAGRAD و Stochastic Gradient Descent (SGD). ^{[ 44 ]} عند تدريب نموذج، تُقدّم مُحسِّنات التدريب المختلفة أنماطًا مُختلفة لضبط المعلمات، مما يؤثر غالبًا على تقارب النموذج وأدائه. ^{[ 45 ]}

يُعدّ TensorFlow منصة ومكتبة أساسية للتعلم الآلي. تستخدم واجهات برمجة تطبيقات TensorFlow مكتبة Keras لتمكين المستخدمين من إنشاء نماذج التعلم الآلي الخاصة بهم. ^{[ 36 ] [ 46 ]} بالإضافة إلى بناء النموذج وتدريبه، يُمكن لـ TensorFlow أيضًا المساعدة في تحميل البيانات اللازمة لتدريب النموذج، ونشره باستخدام TensorFlow Serving. ^{[ 47 ]}

يوفر TensorFlow واجهة برمجة تطبيقات ( API ) مستقرة للغة بايثون ، ^{[ 48 ]} بالإضافة إلى واجهات برمجة تطبيقات (APIs) بدون ضمان التوافق مع الإصدارات السابقة للغات جافا سكريبت ، ^{[ 49 ]} وسي++ ، ^{[ 50 ]} وجافا . ^{[ 51 ] [ 11 ]} كما تتوفر حزم ربط لغات خارجية للغات سي# ، ^{[ 52 ] [ 53 ]} وهاسكل ، ^{[ 54 ]} وجوليا ، ^{[ 55 ]} وماتلاب ، ^{[ 56 ]} وأوبجكت باسكال ، ^{[ 57 ]} وآر ، ^{[ 58 ]} وسكالا ، ^{[ 59 ]} وراست ، ^{[ 60 ]} وأو كاميل ، ^{[ 61 ]} وكريستال . ^{[ 62 ]} أما الروابط التي أصبحت مؤرشفة وغير مدعومة ^فتشمل جو ^{[ 63 ]} وسويفت . ^{[ 64} ]

يحتوي TensorFlow أيضًا على مكتبة للتعلم الآلي مكتوبة بلغة JavaScript. وباستخدام واجهات برمجة التطبيقات (APIs) المتوفرة في JavaScript ، يتيح TensorFlow.js للمستخدمين استخدام نماذج TensorFlow.js أو النماذج المحولة من TensorFlow أو TFLite، وإعادة تدريب هذه النماذج، وتشغيلها على الويب. ^{[ 47 ] [ 65 ]}

يحتوي LiteRT، المعروف سابقًا باسم TensorFlow Lite، ^{[ 66 ]} على واجهات برمجة تطبيقات (APIs) لتطبيقات الجوال أو الأجهزة المدمجة لإنشاء نماذج TensorFlow ونشرها. ^{[ 67 ]} يتم ضغط هذه النماذج وتحسينها لزيادة كفاءتها وتحسين أدائها على الأجهزة ذات السعة الأصغر. ^{[ 68 ]}

يستخدم LiteRT تنسيق FlatBuffers كتنسيق لتسلسل البيانات لنماذج الشبكة، متجنباً تنسيق Protocol Buffers المستخدم في نماذج TensorFlow القياسية. ^{[ 68 ]}

يوفر TensorFlow Extended (اختصارًا TFX) العديد من المكونات لتنفيذ جميع العمليات اللازمة للإنتاج الشامل. ^{[ 69 ]} تشمل هذه المكونات تحميل البيانات والتحقق من صحتها وتحويلها، وضبط نموذج التعلم الآلي وتدريبه وتقييمه، ونشر النموذج نفسه في بيئة الإنتاج. ^{[ 47 ] [ 69 ]}

يُوفر TensorFlow أيضًا مجموعة متنوعة من المكتبات والإضافات لتطوير وتوسيع النماذج والأساليب المُستخدمة. ^{[ 71 ]} على سبيل المثال، تُعدّ مكتبتا TensorFlow Recommenders وTensorFlow Graphics مكتبتين لوظائفهما المُحددة. ^{[ 72 ]} تشمل الإضافات والمكتبات والأطر الأخرى TensorFlow Model Optimization و TensorFlow Probability وTensorFlow Quantum وTensorFlow Decision Forests. ^{[ 71 ] [ 72 ]}

استخدمت شركة GE Healthcare تقنية TensorFlow لزيادة سرعة ودقة التصوير بالرنين المغناطيسي في تحديد أجزاء معينة من الجسم. ^{[ 78 ]} كما استخدمت جوجل تقنية TensorFlow لإنشاء تطبيق DermAssist، وهو تطبيق مجاني للهواتف المحمولة يتيح للمستخدمين التقاط صور لبشرتهم وتحديد المضاعفات الصحية المحتملة. ^{[ 79 ]} واستخدمت شركة Sinovation Ventures تقنية TensorFlow لتحديد وتصنيف أمراض العيون من خلال فحوصات التصوير المقطعي التوافقي البصري (OCT). ^{[ 79 ]}

طبّقت تويتر تقنية TensorFlow لترتيب التغريدات حسب أهميتها بالنسبة لمستخدم معين، وعدّلت منصتها لعرض التغريدات وفقًا لهذا الترتيب. ^{[ 80 ]} سابقًا، كانت التغريدات تُعرض ببساطة بترتيب زمني عكسي. ^{[ 80 ]} استخدم تطبيق مشاركة الصور VSCO تقنية TensorFlow للمساعدة في اقتراح فلاتر مخصصة للصور. ^{[ 79 ]}

أطلقت جوجل رسميًا RankBrain في 26 أكتوبر 2015، مدعومًا بتقنية TensorFlow. ^{[ 81 ]}

استخدمت منصة InSpace، وهي منصة تعليمية افتراضية، TensorFlow لتصفية الرسائل المسيئة في غرف الدردشة داخل الفصول الدراسية. ^{[ 82 ]} كما استخدمت منصة Liulishuo، وهي منصة لتعليم اللغة الإنجليزية عبر الإنترنت، TensorFlow لإنشاء منهج دراسي مُكيَّف لكل طالب. ^{[ 83 ]} استُخدم TensorFlow لتقييم القدرات الحالية للطلاب، وساعد أيضًا في تحديد المحتوى المناسب للعرض بناءً على هذه القدرات. ^{[ 83 ]}

استخدمت منصة التجارة الإلكترونية كاروسيل تقنية تينسورفلو لتقديم توصيات مخصصة للعملاء. ^{[ 79 ]} كما استخدمت شركة مستحضرات التجميل مودي فيس تقنية تينسورفلو لإنشاء تجربة واقع معزز تُمكّن العملاء من تجربة درجات مختلفة من المكياج على وجوههم. ^{[ 84 ]}

مقارنة عام 2016 بين الصورة الأصلية (يسار) والصورة بعد تطبيق نمط TensorFlow العصبي (يمين)

TensorFlow هو الأساس لبرنامج DeepDream الآلي لوصف الصور . ^{[ 85 ]}