المحولات التوليدية المدربة مسبقًا (GPT) هي بنية تعلم عميقة مبتكرة مصممة لتوليد لغة طبيعية. إنه نموذج لغة قائم على الشبكة العصبية يستخدم آلية الاهتمام الذاتي لتحسين جودة تنبؤاته. تُعد بنية GPT نوعًا مختلفًا من نموذج المحولات ، والذي تم تقديمه بواسطة Google في عام 2017.
نظرة عامة على بنية GPT
- تستخدم بنية المحولات آلية الانتباه لالتقاط التبعيات بين أجزاء مختلفة من الجملة أو المستند. يسمح للنموذج بالتركيز على الأجزاء ذات الصلة من المدخلات ، مما يؤدي إلى تنبؤات أكثر دقة. تسمح آلية الانتباه الذاتي في GPT للنموذج بالحضور إلى جميع المواضع في تسلسل الإدخال ، مما يؤدي إلى إنشاء تمثيل للإدخال يلتقط العلاقة بين جميع الكلمات في الجملة أو المستند.
- تتكون بنية GPT من عدة طبقات من كتل المحولات التي تعالج نص الإدخال. تتكون كل كتلة محولات من طبقتين فرعيتين ، وآلية انتباه متعددة الرؤوس ، وشبكة تغذية للأمام. تسمح آلية الانتباه متعدد الرؤوس للنموذج بالحضور إلى أجزاء مختلفة من نص الإدخال والتقاط أنماط مختلفة في البيانات. تعالج شبكة التغذية الأمامية ناتج آلية الانتباه لتوليد التنبؤ النهائي.
- تستخدم GPT عملية ما قبل التدريب تسمى التعلم غير الخاضع للإشراف ، حيث يتعلم النموذج من كميات كبيرة من البيانات غير المسماة. تسمح عملية ما قبل التدريب للنموذج بالتقاط الأنماط والعلاقات في البيانات ، مما يجعلها قادرة على توليد لغة متماسكة وذات مغزى. تتضمن عملية ما قبل التدريب التنبؤ بالكلمة التالية في الجملة بالنظر إلى الكلمات السابقة ، وهي مهمة تسمى نمذجة اللغة.
- حققت بنية GPT نتائج رائعة في مجموعة من مهام معالجة اللغة ، بما في ذلك ترجمة اللغة وتحليل المشاعر والتلخيص والمزيد. إن قدرة GPT على إنشاء لغة متماسكة وذات مغزى جعلت منها أداة قوية في العديد من تطبيقات معالجة اللغة الطبيعية.
