|
Yashirin semantik indeksatsiya
|
| bet | 4/6 | | Sana | 20.12.2023 | | Hajmi | 309,92 Kb. | | #124438 |
M and A are the same in here
M*M = VT*J7* t/EV* = V(S*E)V* MM' = UY.V VZ'IT = shEE*)SG*.
Yuqoridagilardan shuni bilib olamiz va ularni quyidagicha ajratib olishimiz mumkin: A T A ning Hare ortogonal xos vektorlari ustunlari. U ustunlari AA T ning ortogonal xos vektorlari .
Manfiy bo'lmagan haqiqiy a soni M uchun yagona qiymatdir, agar birlik uzunlikdagi vektorlar mavjud bo'lsa va faqat i K m da v va K n da v shundayki
Afv = au va = yoki.
Vektorlar i va o uchun mos ravishda chap-singular va o'ng birlik vektorlar deb ataladi .
Xususiy qiymat va xos vektorga o'xshash.
Past darajali taxminiylik
SVD o'lchamlari va siyrakligi tasviri
Darajani bilmay turib, avval Z mxn ni topib , so‘ngra 0 ta ustun va qatorlarni tashlab, rxr matritsasini olish yo‘li bilan uning o‘lchamlarini kamaytirishimiz mumkin, bu yerda r – A darajasidir.
Keyin SVD A mxn = U mxr S rxr V T rxn ga aylanadi.
III A II I 11 L II Al I AI I
LSI atama va hujjat vektor bo'shliqlarini A atama chastotasi matritsasini boshqa uchta matritsaga aylantirib hisoblaydi:
m by r atama-kontseptsiya vektor matritsasi, T
rby g yagona qiymatlar matritsasi, S ,
n by r tushuncha-hujjat vektor matritsasi, D
Bu erda m - noyob atamalar soni va n - hujjatlar soni va matritsalar quyidagi munosabatlarni qondiradi:
A = TSD T
T t T = I r D T D = I r
5i,i > 5 2 , 2 > ... > S r , r > 0 S, j = 0 bu yerda ij
■ Bu vaqtda biz S matritsadagi eng past yozuvlarni nolga tenglashtirib, faqat k nolga teng bo'lmagan yozuvlarni qoldirib, o'lchamni yanada kamaytirishimiz mumkin.
■ k « r
mxk, kxk va kxn matritsalari sifatida II, Z va V T larga ega bo'lish bilan bir xil narsa .
Past darajali yaqinlashuv
■ SVD orqali yechim
A k =t/diag(o- | ,...,cr it ,0,...,0)V f
eng kichik rk yagona qiymatlarini nolga o'rnating
ustun yozuvi: 1-darajali matritsalar yig'indisi
■ SVD ni hisoblashdan so'ng, LSI yondashuvi S yagona qiymat matritsasi darajasini k « r o'lchamiga kamaytiradi.
■ odatda 100 dan 300 o'lcham oralig'ida k tartibida
A = Aft = Tft Sft DftT
matndagi eng muhim semantik ma'lumotni saqlab qolish, shovqin va A.
asl makonining boshqa nomaqbul artefaktlarini kamaytirish ta'siriga ega.
Past darajali yaqinlashish
Taxminlovchi masala: berilgan k, shunday k darajali A k toping
Ak= min
X:rcmk(X)=k
A-X
Frobenius norm
A k va X ikkala mxn matritsadir. Odatda, k « r istayman.
SVD (LSI da)
min ||.4
IP
Berilgan k uchun .4 IL
lotent semantik makon
Bu nima
A term-doc matritsasidan biz A k yaqinlashuvini hisoblaymiz
A k da har bir atama uchun qator va har bir hujjat uchun ustun mavjud
k«r o'lchovli fazoda yashaydi
■ Bu o'lchamlar asl o'qlar emas
Lekin nega?
Yashirin semantik tahlil
■ Yashirin semantik makon: tasviriy misol
Portable
Laptop
CM c о <л с ф Е S
от
О Doc 1
Laptop []
Portable □
О Doc 2
О Doc3
Computer Q
Display [
LSI Dimension 1
Syuzan Dyumaisning izni bilan
http://www.puffinwarellc.com/index.php/news-and-articles/articles/33-latent-semantic-analysis-
tutorial.html?start=4
Yaxshi to'liq misol
Shartlar va hujjatlar
Bu erda 9 ta hujjat (bu holda kitob nomlari), indeks so'zlari ostida chizilgan.
Qimmatli qog'ozlar bozoriga investitsiya qilish bo'yicha eng yangi kichik qo'llanma
Dummies uchun investitsiya , 4-nashr
Umumiy ma'noda investitsiya qilishning kichik kitobi : fond bozori daromadlarining adolatli ulushini kafolatlashning yagona yo'li
Qiymatli investitsiyalarning kichik kitobi
Qiymatli investitsiya : Grahamdan Baffetgacha va undan tashqari
Boy otaning sarmoya kiritish bo'yicha qo'llanmasi : boylar nimaga investitsiya qiladi, kambag'allar va o'rta sinflar bunga yo'l qo'ymaydi!
Ko'chmas mulkka sarmoya kiritish , 5-nashr
Dummies uchun aktsiyalarga investitsiya
Boy otaning maslahatchilari: ko'chmas mulkka investitsiya qilishning ABC'lari : yashirin daromad topish sirlari Ko'pchilik investorlar e'tibordan chetda qoldi.
Indeksli so'zlar
|
Sarlavhalar
|
|
T1
|
T2
|
T3
|
T4
|
T5
|
T6
|
T7
|
T8
|
T9
|
kitob
|
|
|
1
|
1
|
|
|
|
|
|
dadalar
|
|
|
|
|
|
1
|
|
|
1
|
qo'g'irchoqlar
|
|
1
|
|
|
|
|
|
1
|
|
mulk
|
|
|
|
|
|
|
1
|
|
1
|
hidoyat
|
1
|
|
|
|
|
1
|
|
|
|
sarmoya kiritish
|
1
|
1
|
1
|
1
|
1
|
1
|
1
|
1
|
1
|
bozor
|
1
|
|
1
|
|
|
|
|
|
|
haqiqiy
|
|
|
|
|
|
|
1
|
|
1
|
boy
|
|
|
|
|
|
2
|
|
|
1
|
Aksiya
|
1
|
|
1
|
|
|
|
|
1
|
|
qiymat
|
|
|
|
1
|
1
|
|
|
|
|
kitob
|
0,15
|
-0,27
|
0,04
|
dadalar
|
0,24
|
0,38
|
-0,09
|
qo'g'irchoqlar
|
0,13
|
-0,17
|
0,07
|
mulk
|
0,18
|
0,19
|
0,45
|
hidoyat
|
0,22
|
0,09
|
-0,46
|
sarmoya kiritish
|
0,74
|
-0,21
|
0,21
|
bozor
|
0,18
|
-0,30
|
-0,28
|
haqiqiy
|
0,18
|
0,19
|
0,45
|
boy
|
0,36
|
0,59
|
-0,34
|
Aksiya
|
0,25
|
-0,42
|
-0,28
|
qiymat
|
0,12
|
-0,14
|
0,23
|
3.91
|
0
|
0
|
0
|
2.61
|
0
|
0
|
0
|
2.00
|
|
|
|
|
|
|
|
|
|
0,35
|
0,22
|
0,34
|
0,26
|
0,22
|
0,49
|
0,28
|
0,29
|
0,44
|
-0,32
|
-0,15
|
-0,46
|
-0,24
|
-0,14
|
0,55
|
0,07
|
-0,31
|
0,44
|
-0,41
|
0,14
|
-0,16
|
0,25
|
0,22
|
-0,51
|
0,55
|
0,00
|
0,34
|
Misolda, birinchi o'lchov quyidagi tushuntirish bilan tashlanadi
Hujjatlar uchun birinchi o'lcham hujjatning uzunligiga mos keladi.
So'zlar uchun, bu so'z barcha hujjatlarda necha marta ishlatilganligi bilan bog'liq.
|
| |
