Article · August 023 citations reads 29 authors

Download 379,37 Kb. Pdf ko'rish
bet	13/16
Sana	11.12.2023
Hajmi	379,37 Kb.
	#116133

1 ... 8 9 10 11 12 13 14 15 16

Bog'liq
b.elov n.xudayberganov z.xusainova til va madaniyat

BoW usulidagi cheklovlar
BoW usulini amalga oshirish oson boʻlsa-da, ba’zi kamchiliklar
mavjud:
−
modelda soʻzning gapdagi joylashuvi inobatga
olinmaydi. Misol uchun, “mahsulot arzon”va “mahsulot arzonmi” soʻz
birikmalariga mos BoW modelida aynan bir xil vektor hosil qilinadi.
−
BoW soʻzning semantikasini inobatga olmaydi.
Masalan, “kurash” va “dzyudo” soʻzlari koʻpincha bir xil kontekstda
ishlatiladi. Biroq, bu soʻzlarga mos keladigan vektorlardagi soʻzlar
modelida butunlay boshqacha. Gaplarni modellashtirishda bu
muammo yanada jiddiylashadi. Masalan: “Ishlatilgan mashinalarni
sotib oling” va “Eski mashinalarni sotib oling” BoW modelida
mutlaqo boshqa vektorlar bilan ifodalanadi.
−
lugʻat hajmi – BoW modeli oldida turgan katta
muammo. Misol uchun, agar model hali ishlatilmagan yangi soʻzga
duch kelsa, Biblioklept (kitob oʻgʻirlagan degan ma’noni anglatadi)
kabi unikal, ammo ma’lumot beruvchi soʻzni aytamiz. BoW modelida
bu soʻz inobatga olinmaydi.
Xulosa
BoW – hujjatlarni bir butun sifatida tasniflashning oddiy
va qulay usuli hisoblanadi. BoW modeli orqali mashinali oʻrganish
algoritmlariga ma’lumotlarni raqamli koʻrinishda taqdim etish uchun
matn modellashtiriladi. BoW modelning aniqligini oshirishning bir
necha yoʻllari mavjud:
−
BoW modelida unigrammlarni (soʻzlar) ishlatish
oʻrniga, bigramm yoki trigrammdan foydalanish model

48
Botir ELOV, Nizomaddin XUDAYBERGANOV, Zilola XUSAINOVA
samaradorligini oshirishga xizmat qiladi.
−
TF-IDF modelidan matndagi muhim va nomuhim
soʻzlarni aniqlashda foydalaniladi. Odatda TF-IDF modelidan
mashinali oʻrganishga asoslangan NLP vazifalarda qoʻllaniladi.
Nisbatan oddiy model boʻlishiga qaramay, BoW koʻpincha
matn tasnifi NLP vazifalari uchun ishlatiladi.

Download 379,37 Kb.

1 ... 8 9 10 11 12 13 14 15 16

Download 379,37 Kb.

Pdf ko'rish