|
Sun’iy intellekt kafedrasi Mashinali o’qitishga kirish
|
| bet | 1/4 | | Sana | 04.04.2024 | | Hajmi | 38.64 Kb. | | #187335 |
Bog'liq mashina.m.ish1 HBA-60 No’monova Yulduz. Auditning turlari va shakllari, Rajabov S 9-lab, KUN TARTIBI, ish reja1 jismoniy tarbiya 2023-2024, 1669495, 3-топшириқ, Suyuq kristallar va ularning xususiyatlari111, izhorbek, Abdusubxonov Q 750-22 Kiber xavfsizlik, 2
O’zbekiston Respublikasi Raqamli Texnologiyalar Vazirligi Muhammmad Al-Xorazmiy nomidagi Toshkent Axborot Texnologiyalari Universiteti
Sun’iy intellekt kafedrasi
Mashinali o’qitishga kirish fanidan
MUSTAQIL ISHI 1
Mavzu: O‘qitish jarayonida L1 va L2 darajadagi regulyarizatsiyalash.
Bajardi:Sotqinboyev Samandar
Tekshirdi: Nurmurodov J.N
Toshkent 2023
Mavzu: O‘qitish jarayonida L1 va L2 darajadagi regulyarizatsiyalash.
Reja:
1. Regulyarizatsiyalash tushunchasi.
2. Regulyarizatsiya uchun ishlatiladigan ba'zi usullar.
3.Neyron tarmoqlarni regulyarizatsiyalash.
4. Logistik regressiya va uni tartibga solish.
5. Xulosa
6. Foydalanilgan adabiyotlar.
Regulyarizatsiya (ing. regularization) (tartibga solish)- statistikada, mashinani o'rganishda, teskari vazifalar nazariyasida-noto'g'ri vazifani hal qilish yoki qayta o'qitishni oldini olish uchun vaziyatga qo'shimcha cheklovlar qo'shish usuli. Ko'pincha, bu ma'lumot modelning murakkabligi uchun jarima shakliga ega.
Regulyarizatsiya shuningdek, neyron tarmoqlarda ham juda katta tarmoq og'irliklari va qayta o'qitish bilan kurashish uchun ishlatiladi. Biroq, bu holda, L1-regulyator yordamida koeffitsientlarni nollash chiziqli modellarda bo'lgani kabi, "belgilarni tanlash" ma'nosini ham o'z ichiga olmaydi. Afsuski, regulyarizatsiya parametrlarning sonini kamaytirmaydi va tarmoq tuzilishini soddalashtirmaydi.
Neyron tarmog'i uchun ampirik xavfga nisbatan jazo muddatini qo'shib qo'yishdan tashqari, qayta o'qitishga qarshi kurashning yana bir usuli — tarmoqni yupatish (ingliz tili. xato funktsiyasi o'zgarmaydi bo'lsa, tarmoq yanada soddalashtirish mumkin — qoida asosida, tarmoq soddalashtirish qaysi davomida dropout). Regulyarizatsiya qayta jihozlashni kamaytirish orqali modellarni yanada foydali qilishi mumkin. Regulyarizatsiya sizning neyron tarmoqingizning ish faoliyatini sezilarli darajada oshirishi, qayta jihozlashni kamaytirish mumkin.
O‘qitish jarayonida L1 va L2 darajadagi regulyarizatsiyalash
O'qitish jarayonida ma'lumotlar tahlili, tadbirlar qilinishi va yoki ma'lumotlar o'qitilishi jarayonlarida, regulyarizatsiya algoritmlari ahamiyatga ega bo'lgan muammolar orasida o'rin oladi. Bu algoritmlar orqali, modellar o'rganish jarayonlarida o'zlashtirishni kamaytirish uchun oddiy modellarga qiyosan yuqori ma'lumotlar samaradorligini ta'minlash mumkin. Bu esa, regulyarizatsiya usullari, masalan, L1 va L2 darajadagi regulyarizatsiyalash, o'rganish jarayonlarida o'zlashtirishni rag'batlantirishning kritik ahamiyatga ega bo'lgan qismlaridan biri hisoblanadi.
L1 va L2 darajadagi regulyarizatsiyalash
L1 va L2 regulyarizatsiyalari, bir necha foydalanuvchilar tomonidan tavsiflanib, o'rganish jarayonlarida o'zlashtirishni boshqarishning umumiy usullaridan ikkisi hisoblanadi. L1 regulyarizatsiyasi: L1 regulyarizatsiyasi, "L1 norm" ni qo'llab-quvvatlaydi. Bu regulyarizatsiya usuli o'rganish modellari yaratishda foydalaniladi. L1 norm, ko'rsatkichlarning absolyut qiymatlarini qo'llab-quvvatlaydi. Agar model ko'rsatkichlarida ko'p qiymatli o'zgaruvchilar mavjud bo'lsa, L1 regulyarizatsiyasi ularni qisqartirib, ba'zi o'zgaruvchilarni nolga tenglaydi. Bu jarayon, sparsity niqobi bilan natijalanadi, ya'ni modelda ko'p o'zgaruvchilar nollanadi. Shuningdek, bu regulyarizatsiya usuli o'zlashtirishning o'zlashtirishni o'zlashtirishni qo'llab-quvvatlaydi.
L2 regulyarizatsiyasi: L2 regulyarizatsiyasi esa, "L2 norm" ni qo'llab-quvvatlaydi. Bu usulda, ko'rsatkichlar kvadratlarining yig'indisini qo'llab-quvvatlaydi. L2 norm, ko'rsatkichlar orasidagi katta qiymatlar farqini kattalashtirib, ammo nolga tenglamaydi. Bu regulyarizatsiya usuli modelning o'zlashtirishga qarshilikka yuqori bo'lgan ko'rsatkichlarni boshqarishda samarali bo'lib, ko'p o'zgaruvchilarni o'zlashtirishga yo'l qo'ymaydi. Bu jarayon, modelning har bir o'zgaruvchisining ahamiyatini o'zlashtirishda muhim bo'lgan "importance" ni o'rgatadi.
L2 parametrini regulyarizatsiya: shuningdek, vazn yo'qotish sifatida ham tanilgan, bu usul L2 me'yorini og'irlik stavkalarini boshlang'ich nuqtaga olib kelish uchun maqsadli funkciyaga qo'shib qo'yadi. Bu usul noldan bir xil nisbatda barcha og'irliklari kesadi-da; ammo, bu aniq nol bo'lishi uchun hech qanday vazn bor hech qachon.
L1 (Lasso) parametrini regulyarizatsiya: bu funktsiyani tanlash usuli sifatida qaralishi mumkin, chunki; l2ni tartibga solishdan farqli o'laroq, ba'zi og'irliklar aslida nolga teng bo'ladi. L1 me'yorini maqsadli funktsiyaga qo'shib, barcha og'irliklarni bir xil miqdorda kamaytiradi.
Chiqish: otpusk qoplarga qadoqlash texnikasi bir yondashuv sifatida qaralishi mumkin. Har bir yinelemede tasodifiy ravishda har bir qatlamda ba'zi neyronlarni o'chirib qo'yamiz va bu neyronlarni to'g'ridan-to'g'ri va teskari tarqatishda ishlatmaymiz. Bu neyron tarmog'ini og'irliklarni taqsimlashga va muayyan neyronlarga e'tibor bermaslikka olib keladi, chunki u har bir iteratsiyada qaysi neyronlarning paydo bo'lishini hech qachon bilmaydi. Shunday qilib, bu har bir iteratsiya bo'yicha turli modellarni o'qitish sifatida qaralishi mumkin. Bundan tashqari, biz har bir iteratsiya bo'yicha bir nechta neyronlarni olib tashlaganimiz sababli, bu tarmoqning pasayishiga olib keladi, bu esa o'z navbatida tarmoqni soddalashtirishni anglatadi.
|
| |
