|
Mashinani o’qitish tili fanidan
|
| bet | 7/11 | | Sana | 14.05.2024 | | Hajmi | 345,07 Kb. | | #232474 |
Bog'liq GRADIENT TUSHISH
Gradient tushish usulining ma’lum kamchiliklaridan biri bu konveks bo‘lmagan maqsad funktsiyasi holatida optimal nuqta sifatida mahalliy minimalni tanlash muammosidir. Ushbu muammo mashinani o‘rganish vazifalarida juda keng tarqalgan, chunki ko‘pincha xatolar funktsiyasi ko‘p ekstremal bo‘lib, bu klassik yoki stoxastik gradient tushish natijasida noto‘g‘ri natijalarga olib keladi.
Ushbu xususiyat (4) munosaba bilan tavsiflangan oldingi gradientlarning qiymatlarini to‘plash orqali impuls usullari guruhida hisobga olinadi.
μ = γ da (4) formulada Nesterov usuli *8+, γ = 0 holatida esa ushbu ishda ko‘rib chiqiladigan momentlar usulini ifodalaydi.
Moment usuli [9]
Stoxastik gradient, shuningdek, jarlik maqsadli xato funktsiyasi holatida tez-tez ishlamaydi, ya'ni o‘zgaruvchilardan biriga nisbatan qiymati boshqa yo‘nalishlarga qaraganda ancha tez o‘zgarib turadigan funktsiya bo‘lganligi sababli bu funksiyadan foydalanib bo‘lmaydi. Bunday holda, o‘rganish tugashidan ancha oldin ko‘pchilik neyronlarning chiqish qiymatlari faollashtirish funktsiyasining asimptotik qiymatlariga yaqinlashadi va tarmoq falaji deb ataladigan narsa paydo bo‘ladi, ya'ni og‘irlik koeffitsientlari deyarli o‘zgarishni to‘xtatadi. Natijada, o‘qitish jarayoni sezilarli darajada sekinlashadi. Gradient tushish usulining eng oddiy yaxshilanishi - bu gradientning vazn o‘zgarishiga ta’siri vaqt o‘tishi bilan to‘planadigan momentni kiritishdir.
Shunday qilib, agar gradient bir xil yo‘nalishga ishora qilsa, moment yangilanish tezligini oshiradi va gradient yo‘nalishini o‘zgartirsa kamayadi. Natijada, bunday modifikatsiya konvergentsiyaning tezlashishiga va tebranishlarning tekislanishiga olib keladi.
|
| |
