[0,1,0,0,0,0,0,0,0,0,0,0,1,1,1,1] Berilgan ikkita soʻzga mos vektorni quyidagicha aniqlaymiz: 39“Lola” va “lola”Boshlangʻich ishlov berish |
[1,1,1,1,1,1,1,1,1,1,1,0,0,0,0]Bog'liq b.elov n.xudayberganov z.xusainova til va madaniyatBu sahifa navigatsiya:
- [0,1,0,0,0,0,0,0,0,0,0,0,1,1,1,1] Berilgan ikkita soʻzga mos vektorni quyidagicha aniqlaymiz: 39
- “Lola” va “lola”
- Boshlangʻich ishlov berish
[1,1,1,1,1,1,1,1,1,1,1,0,0,0,0]
2-gapga mos vektor quyidagicha hosil qilinadi:
3-jadval. 2-gapga mos soʻzlar chastotasi
Soʻz
Chastota
Adirlar
0
ham
1
bahorda
0
bola
0
bilan
0
goʻzal
0
,
0
chunki
0
–
0
bahorning
0
erka
0
guli
0
Lola
1
shifokor
1
kasbini
1
tanladi
1
Xuddi shunday, yuqoridagi chastotalardan 2-gapga mos
vektorni hosil qilamiz:
[0,1,0,0,0,0,0,0,0,0,0,0,1,1,1,1]
Berilgan ikkita soʻzga mos vektorni quyidagicha aniqlaymiz:
39
Tabiiy tilni qayta ishlashda bag of words algoritmidan foydalanish
dir
lar
ham Bahor
da
lola bilan goʻzal , chun
ki
– bahor
ning
erka guli Lola shifo
korlik
kasbini
tan
ladi
1-
gap
1
1
1
1
1
1
1 1
1 1
1
1
0
0
0
0
2-
gap
0
1
0
0
0
0
0 0
0 0
0
0
1
1
1
1
Yuqoridagi misolda BoW usulining eng yaxshi jihatlari oʻz
aksini topmagan. Chunki, “Lola” va “ lola” soʻzlari bir xil ma’noga
ega boʻlsa-da, ikki marta qayd etilgan. Shuningdek, hech qanday
ma’lumotni bildirmaydigan vergul “,”, “–” belgisi ham lugʻat tarkibiga
kiritilgan va tahlil jarayonida ishtirok etgan. BoW usuliga ba’zi
oʻzgarishlarni amalga oshirish orqali samaradorlikni oshirishni
koʻrib chiqamiz.
Boshlangʻich ishlov berish
|
|
Bosh sahifa
Aloqalar
Bosh sahifa
[1,1,1,1,1,1,1,1,1,1,1,0,0,0,0]
|
