-jadval. Berilgan matnlarga mos raqamli vektorlar

Download 1,02 Mb. Pdf ko'rish
bet	7/9
Sana	04.06.2024
Hajmi	1,02 Mb.
	#259904

1 2 3 4 5 6 7 8 9

Bog'liq
Kurs ishi Ismatov I

1-jadval.
Berilgan matnlarga mos raqamli vektorlar
tfBowC = computeTF(wordDictC, bowC)
# BoW raqamli vektorini aniqlash
idfs = computeIDF([wordDictA, wordDictB, wordDictC])

# TF-IDF qiymatlarni hisoblash
tfidfBowA = computeTFIDF(tfBowA, idfs)
tfidfBowB
=
computeTFIDF(tfBowB,
idfs)
tfidfBowC
=
computeTFIDF(tfBowC, idfs)
# TF-IDF qiymatlarni chop qilish
import
pandas
as
pd
print
(pd.DataFrame([tfidfBowA, tfidfBowB, tfidfBowC]))
2-jadval. Berilgan matnlarga mos TF-IDF qiymatlar

1 va 2-jadvallardagi olingan natijalarda korpusdagi matnlarga mos TF-IDF
qiymatlarni hisoblashda tokenlarga ajratishdan foydalanildi. Endi dasturni biroz
optimallashtirib, lemmalar asosida TF-IDF qiymatlarni hisoblashni amalga
oshiramiz va natijalarni keltiramiz:

3-jadval. Berilgan matnlarga mos raqamli vektorlar (+lemmatizatsiya)

Demak, korpusidagi matnlarga mos TF-IDF qiymatlarni hisoblashda
lemmatizatsiya jarayonini amalga oshirish orqali tahlil samaradorligini oshishini
qayt etish mumkin.
Mashinali o‘rganishda TF-IDFdan foydalanish
TF-IDF usulidan ko‘p hollarda berilgan matnni
raqamli vektoriga
aylantirish
jarayonida foydalaniladi. TF-IDF usuli hujjatdagi har bir so‘zni ushbu
hujjat uchun qanchalik dolzarbligini ko‘rsatadigan
qiymat
bilan bog‘lash
imkoniyatini taqdim etadi. Bunday qiymatlardan keyinchalik mashinali o‘rganish
modellarining xususiyatlari sifatida foydalanish mumkin.
Tabiiy til masalalari bilan ishlashda mashinali o‘rganish bitta asosiy to‘siqqa
duch keladi - uning algoritmlari odatda raqamlar ustida amallarni bajaradi. Tabiiy
tilda esa matnlar qayta ishlanadi. Shunday qilib, tabiiy tildagi matnni raqamlarga
aylantirishga to‘g‘ri keladi. Ushbu jarayon NLPda

Download 1,02 Mb.

1 2 3 4 5 6 7 8 9

Download 1,02 Mb.

Pdf ko'rish