|
Toshkent axborot texnologiyalari universiteti urganch filiali kompyuter injineringi fakulteti
| | bet | 2/8 | | Sana | 22.05.2024 | | Hajmi | 117,37 Kb. | | #250384 |
Bog'liq Vaisbek Davlatov Mustaqil ishi ishi Shartlar
Klassik statistikada summani minimallashtirish muammolari eng kam kvadratlar usulida va maksimal ehtimollik usulida (mustaqil kuzatishlar uchun) yuzaga keladi. Summalarni minimallashtirish ko'rinishida yuzaga keladigan umumiy hisob-kitoblar sinfi M-tahminlar deb ataladi. Biroq, XX asr oxiridayoq, hatto mahalliy minimallashtirishning talabi maksimal ehtimollik usulining ba'zi muammolari uchun juda cheklovli ekanligi sezildi . Demak, zamonaviy statistik xodimlar ko'pincha ehtimollik funksiyasining statsionar nuqtalarini (yoki uning hosilasining nollari, kvantlash funksiyasi va baholanuvchi tenglamalarning boshqa usullarini) nazarda tutadilar.
Yig'indini minimallashtirish muammosi empirik xavfni minimallashtirishda ham paydo bo'ladi.Bunda Qi(w) i-th misolida yo'qotish funksiyasining qiymati , Q(w) esa empirik xavfdir.
Yuqoridagi funksiyani minimallashtirish uchun foydalanilganda standart (yoki "paket") gradientli pastga tushish usuli quyidagi iteratsiyalarni bajaradi:
w:=w−η∇Q(w)=w−ηn∑i=1n∇Qi(w),
{ w:=w-\eta \nabla Q(w)=w-{\frac {\eta }{n}}\sum _{i=1}^{n}\nabla Q_{i}(w),}
bu erda η mashinani o'rganishda o'quv darajasi deb nomlangan qadam hajmi.
Ko'p hollarda summal funksiyalar oddiy shaklga ega bo'lib, bu funksiyalar yig'indisi va yig'indining gradienti uchun kam xarajatli hisoblashlarga imkon beradi. Masalan, statistikada bir parametrli eksponent oilalarning qo'llanilishi funksiya va gradiyentni sarfiy hisoblash imkonini beradi.
Ammo boshqa hollarda summa gradiyentini hisoblash barcha funksiyalarning yig'indisi uchun qimmat gradient hisob-kitoblarni talab qilishi mumkin. Katta o'quv to'plamida, oddiy formulalar bo'lmaganda, gradient summalarini hisoblash juda qimmatga tushadi, chunki summa gradientini hisoblash yig'indining alohida shartlarining gradientlarini hisoblashni talab qiladi. Algoritmning har bir iteratsiyasida yig'ma funktsiyalar to'plami. Bu yondashuv, ayniqsa, katta mashina o'rganish vazifalari uchun samarali bo'ladi[5].
|
| |
