كيفية استخدام GPT مع مكتبات معالجة اللغة الطبيعية الشائعة

GPT (المحولات التوليدية المدربة مسبقًا) هي نموذج قوي لمعالجة اللغة الطبيعية (NLP) حقق نتائج رائعة في مهام لغوية مختلفة مثل ترجمة اللغة وتوليد النصوص ووكلاء المحادثة. إذا كنت ترغب في استخدام GPT مع مكتبات NLP الشائعة مثل NLTK و SpaCy ، فيمكنك الاستفادة من العديد من المكتبات والأطر التي توفر واجهات لنماذج GPT.

طريقة استخدام GPT مع NLTK

• NLTK (مجموعة أدوات اللغة الطبيعية) هي مكتبة NLP شائعة توفر أدوات لترميز النص واشتقاقه ووضع علامات عليه. إذا كنت ترغب في استخدام GPT مع NLTK ، فيمكنك الاستفادة من مكتبة PyTorch-Transformers ، التي توفر واجهة بسيطة وبديهية لاستخدام نماذج GPT.

• لاستخدام GPT مع NLTK ، يمكنك تثبيت مكتبة PyTorch-Transformers باستخدام النقطة واستيراد الفئات والوظائف الضرورية. على سبيل المثال ، لإنشاء نص باستخدام نموذج GPT مدرب مسبقًا ، يمكنك استخدام الكود التالي:

import nltk
import torch
from transformers import GPT2LMHeadModel, GPT2Tokenizer

tokenizer = GPT2Tokenizer.from_pretrained(‘gpt2’)
model = GPT2LMHeadModel.from_pretrained(‘gpt2’)

text = “Hello, how are you?”
input_ids = tokenizer.encode(text, return_tensors=’pt’)

output = model.generate(input_ids, max_length=50, do_sample=True, num_beams=5, temperature=1.0)
output_text = tokenizer.decode(output[0], skip_special_tokens=True)

tokens = nltk.word_tokenize(output_text)
tagged = nltk.pos_tag(tokens)

print(tagged)

كيفية استخدام GPT مع SpaCy

• SpaCy هي مكتبة NLP حديثة توفر أدوات للترميز ، والتعرف على الكيانات المسماة ، وتحليل التبعية للنص. إذا كنت ترغب في استخدام GPT مع SpaCy ، فيمكنك الاستفادة من مكتبة Hugging Face ، التي توفر نماذج GPT المدربة مسبقًا وواجهة لاستخدامها مع SpaCy.

• لاستخدام GPT مع SpaCy ، يمكنك تثبيت مكتبة Hugging Face باستخدام النقطة واستيراد الفئات والوظائف الضرورية. على سبيل المثال ، لإنشاء نص باستخدام نموذج GPT مدرب مسبقًا ، يمكنك استخدام الكود التالي:

import spacy
import torch
from transformers import GPT2LMHeadModel, GPT2Tokenizer

nlp = spacy.load(“en_core_web_sm”)
tokenizer = GPT2Tokenizer.from_pretrained(‘gpt2’)
model = GPT2LMHeadModel.from_pretrained(‘gpt2’)

text = “Hello, how are you?”
input_ids = tokenizer.encode(text, return_tensors=’pt’)

output = model.generate(input_ids, max_length=50, do_sample=True, num_beams=5, temperature=1.0)
output_text = tokenizer.decode(output[0], skip_special_tokens=True)

doc = nlp(output_text)
for token in doc:

print(token.text, token.pos_, token.dep_)