-gap: “Adirlar ham bahorda lola bilan goʻzal, chunki lola –  bahorning erka guli” 2-gap

Tabiiy tilni qayta ishlashda bag of words algoritmidan foydalanish
37
goʻzal
,
chunki
lola
–
bahorning
erka
guli
1-qadam: Yuqoridagi matndagi barcha soʻzlarni koʻrib chiqib, 
umumiy soʻzlardan iborat lugʻatni shakllantiramiz.

Adirlar

ham

bahorda

lola

bilan

goʻzal

,

chunki

–

bahorning

erka 

guli

Lola

shifokorlik

kasbini

tanladi
Hosil qilingan lugʻatda “Lola” va “lola” soʻzlari bir xil 
emas. Chunki ular gaplarda turli shaklda kelgan va shuning uchun 
takrorlanmaydi. Shuningdek, soʻzlar roʻyxatidan vergul: “,” ham 
oʻrin olgan. Berilgan ikkita gapdan hosil qilingan lugʻatda 14 ta 
token mavjud boʻlib, har bir tokenni baholash uchun vektorda 
bitta pozitsiyaga ega boʻlgan 14 uzunlikdagi hujjat vektoridan 
foydalanish mumkin. Matnga mos vektorni hosil qilishda har bir 
soʻzning mavjudligini qayd etishda 1 yoki 0 qiymatlaridan (chastota) 
foydalaniladi. 1-gapga mos vektor quyidagicha hosil qilinadi:
2-jadval. 1-gapga mos soʻzlar chastotasi
Soʻz
Chastota
Adirlar
1
ham
1
bahorda
1

38
Botir ELOV, Nizomaddin XUDAYBERGANOV, Zilola XUSAINOVA 
lola
1
bilan
1
goʻzal
1
,
1
chunki
1
–
1
bahorning
1
erka
1
guli
1
Lola
0
shifokorlik
0
kasbini
0
tanladi
0
1-gapdagi chastotalardan foydalanib quyidagi vektorni hosil 
qilamiz:

Download 379,37 Kb.