فى مقطع فيديـو عبر قناته ضوء YouTube، أعاد باحث الذكاء الاصطناعي أندريه كارباثي إنتاج GPT-2 فى ما يزيد قليلًا على أربع ساعات.
وأمضى المؤسس المشارك لشركة OpenAI، الذى غادر فى وقت لاحق مـن هذا العام، ساعات عديدة فى إنشاء مقاطع فيديـو تعليمية لمشاهديه، ويشمل ذلك مقاطع فيديـو إرشادية بخصوص نماذج وحدات فك التشفير.
وفي محاضرته الاخيره، أعاد كارباثي إنشاء أصغر نسخة مـن GPT-2 التى تحتوي مقدار 124 مليون معلمة.
وحلل كارباثي العملية كلها فى الفيـديو الذى مدته أربع ساعات، وبدأ مـن الصفر.
وقال كارباثي: “نبني أولًا مجموعه GPT-2 ومن ثم نحسن تدريبها لتكون سريعة للغاية، ونجهز طريقة تشغيل التدريب بالاعتماد على ورقة GPT-2 و GPT-3 والمعلمات الفائقة، ومن ثم نشغل طريقة التدريب، ونعود لاحقًا لرؤية النتائج”.
ومع إعادة إنشاء GPT-2، يعتقد كارباثي أنه كان قريبًا جدًا مـن نموذج GPT-3 المكون مـن 124 مليون معلمة.
وكان كارباثي منذ مدة طويلة مؤيدًا لنشر المعرفة فى مجال الذكاء الاصطناعي، وتحديدًا العلوم التى تكمن وراء النماذج اللغوية الكبيرة.
وترك كارباثي الشركة للمرة الثانية فى شهر فبراير مـن هذا العام، وكان مسؤولًا عَنْ التعلم العميق والرؤية الحاسوبية فى OpenAI، مع ان ســاهم بنشاط فى مجتمع الذكاء الاصطناعي، إذ أنشأ بَرَامِجُ تعليمية ومقاطع فيديـو تفصيلية لنماذج مختلفة، وخاصة بعد ترك الشركة.
وأصدر لاحقًا مشروعًا بعنوان llm.c، إذ يمكن للمستخدمين تـدريــب النماذج اللغوية الكبيرة باستخدام لغة C فقط دون الحاجة الي الاعتماد على PyTorch و cPython.
وكان قد أصدر قبل ذلك محاضرة مدتها ساعة يشرح فيها تعقيدات النماذج اللغوية الكبيرة وكيفية عملها.
وبعد مدة وجيزة مـن مغادرته OpenAI، أصدر أيضًا برنامـجًا تعليميًا بخصوص فهم الرمز المميز، كَمَا اغتنم الفرصة لتحليل الرمز المميز Gemma مـن جوجل بعد إطلاقه.
