-rasm. TF-IDF qiymatni hisoblash bosqichlari

Download 1,02 Mb. Pdf ko'rish
bet	3/9
Sana	04.06.2024
Hajmi	1,02 Mb.
	#259904

1 2 3 4 5 6 7 8 9

Bog'liq
Kurs ishi Ismatov I

Foydalanuvchi so‘rovi (kalit so‘zlar) asosida korpusdagi matnlarni TF- IDF usuli vositasida tartiblash. TF-IDF qiymat [0 .. 1]

1-rasm. TF-IDF qiymatni hisoblash bosqichlari
TF-IDF usuli (2-rasm) birinchi bo‘lib hujjatlarni qidirish va ma’lumot olish
algortimlarida qo‘llanilgan bo‘lib, foydalanuvchi so‘roviga mos tarzda axborot
tizimi ma’lumotlar bazasidan eng kerakli hujjatlarni aniqlagan. Masalan,
“bu
xato”
so‘roviga mos amallar quyidagicha bajarilgan. Tizim har bir hujjatga kam
uchraydigan
“xato”
so‘ziga mos chastotaga mutanosib ravishda yuqori ball
qo‘yadi va
“bu”
kabi umumiy so‘zlarga kichikroq qiymatni mos qo‘yadi.
2-rasm. TF-IDF qiymatni hisoblash
d
hujjatidagi
t
termini uchun
vazn qiymati quyidagicha hisoblanadi:
bunda,
– d hujjatida t ning uchrash soni;
– t terminimi o‘z ichiga olgan hujjatlar soni; N – korpusdagi
hujjatlarning umumiy soni;
Hujjat chastotani aniqlashning bir nechta o‘lchovlari yoki usullari mavjud:
-

hujjatda so‘z paydo bo‘lish soni (rc);
-

hujjatning uzunligiga nisbatan chastota (chastota soni hujjatdagi
so‘zlar soniga bo‘linadi);
-

logarifmik o‘lchovli chastota (masalan, log10(1 + rc));
-

mantiqiy chastota (masalan, hujjatda so‘z paydo bo‘lsa – 1,
bo‘lmasa 0).
Ushbu maqolada TF-IDF usulini korpusdagi matnlarga qo‘llash orqali
so‘rovga mos tarzda hujjatlarni tartiblash va korpus matnlari uchun TF-IDF
qiymatlarni hisoblash algoritmlarini ko‘rib chiqamiz va o‘zbek tilidagi matnlarga
qo‘llaymiz.

Foydalanuvchi so‘rovi (kalit so‘zlar) asosida korpusdagi matnlarni TF-
IDF usuli vositasida tartiblash.
TF-IDF qiymat
[0
..
1]
oralig‘ida baholanadi. Raqamli vazn qiymati qanchalik
katta bo‘lsa, termin korpusda shunchalik kam uchraydi. Og‘irligi qanchalik kichik
bo‘lsa, termin korpusda shunchalik keng tarqalgan bo‘ladi.

Download 1,02 Mb.

1 2 3 4 5 6 7 8 9

Download 1,02 Mb.

Pdf ko'rish