|
Уменьшение Размерности (Обобщение) O'lchamlarni qisqartirish (umumiylashtirish)
|
bet | 11/20 | Sana | 05.01.2024 | Hajmi | 12,38 Mb. | | #130821 |
Bog'liq 1-лекцияУменьшение Размерности (Обобщение) O'lchamlarni qisqartirish (umumiylashtirish) - Dastlab, bu ikki yuk mashinasida raqamlarni yuklagan va u erda qiziqarli narsalarni topishni buyurgan hardcore Data Scientist larining usullari edi. Excelda oddiygina grafiklarni yaratish endi yordam bermaganida, ular qonuniyatlarni izlash uchun mashinalardan foydalanish g'oyasini o'ylab topdilar. Shunday qilib, ular ular Dimension Reduction yoki Feature Learning deb nomlangan usullarni ishlab chiqdilar.
Уменьшение Размерности (Обобщение) O'lchamlarni qisqartirish (umumiylashtirish) - Biz uchun ularning usullarining amaliy foydasi shundaki, biz bir nechta xususiyatlarni birlashtirib, mavhumlikni olishimiz mumkin. Misol uchun, uchburchak quloqlari, uzun burunlari va katta dumlari bo'lgan itlar "cho'pon" ning foydali abstraktsiyasiga birlashtirilgan. Ha, biz o'ziga xos cho'pon itlari haqida ma'lumotni yo'qotmoqdamiz, ammo yangi abstraktsiya bu qo'shimcha tafsilotlardan ko'ra foydaliroqdir. Bundan tashqari, kamroq o'lchamlar bo'yicha o'qitish ancha tezlashadi.
- Ushbu vosita matnlarning mavzularini aniqlash uchun juda yaxshi mos edi (Topic Modelling). Biz toifalar ro'yxati bilan o'qituvchini jalb qilmasdan ham aniq so'zlardan ma'no darajasiga mavhumlashtirishga muvaffaq bo'ldik.
- Algoritm Yashirin Semantik Tahlil (LSA) deb nomlangan va uning g'oyasi shundan iboratki, matnda so'zning paydo bo'lish chastotasi uning mavzusiga bog'liq: ilmiy maqolalarda texnik atamalar ko'proq, siyosat haqidagi yangiliklarda siyosatchilarning ismlari ko'proq.
Уменьшение Размерности (Обобщение) O'lchamlarni qisqartirish (umumiylashtirish) - Ha, biz maqolalardan barcha so'zlarni olib, yuqoridagi savdo rastalarida bo'lgani kabi klasterlashimiz mumkin edi, lekin keyin biz so'zlar orasidagi barcha foydali aloqalarni yo'qotamiz, masalan, batareya va akkumulyator turli hujjatlarda bir xil narsani anglatadi.
- Ushbu yashirin (latent) aloqalarni yo'qotmaslik uchun qandaydir tarzda so'zlar va hujjatlarni bitta belgiga birlashtirish kerak. Usulning nomi shu erdan kelib chiqqan. Ma'lum bo'lishicha, Singular Value Decomposition (SVD) bu vazifani osonlik bilan hal qiladi va biz uchun foydali mavzu klasterlarini birgalikda paydo bo'lgan so'zlardan aniqlaydi.
|
| |