|
Algoritmlarning umumiy tahlili
|
| bet | 10/11 | | Sana | 14.05.2024 | | Hajmi | 345,07 Kb. | | #232474 |
Bog'liq GRADIENT TUSHISH
Algoritmlarning umumiy tahlili
Neyron tarmog‘ini o‘qitish jarayonida olingan optimal echim (og‘irlik koeffitsientlari to‘plami) uning amaliy masalalarni hal qilish jarayoniga bevosita ta’sir qiladi, ya'ni, tarmoq ilgari o‘qitilmagan test to‘plamining namunalari to‘plamida to‘g‘ri javoblarni beradigan sifatni aniqlaydi. Biroq, neyron tarmoqlarining umumlashtirish qobiliyati haqida aniq xulosalar ishlab chiqish va ularni o‘rganish borasida hozirgi vaqtda tadqiqotchilar ilmiy izlanishlar olib bormoqda. Shuningdek, ko‘plab zamonaviy tadqiqotlar shuni ko‘rsatadiki, sun’iy neyronni o‘qitish xatosi funktsiyasining mahalliy minimalari soni mustaqil parametrlar soni bilan ortadi, bu esa o‘z navbatida tarmoqning umumlashtirish qobiliyatiga salbiy ta’sir qiladi.
Ko‘p sonli parametrlarga ega bo‘lgan ko‘plab muammolar uchun adaptiv usullar SGD ishlashi natijasida olingan echimlardan tubdan farq qiladigan echimlarga yaqinlashishi mumkin. Hozirgi vaqtda adaptiv algoritmlar ko‘pincha ko‘plab paketlarda (masalan, Scikit- learn) standart usullardir. Biroq, stoxastik gradient tushish usuli bilan solishtirganda, ko‘p parametrli ma’lumotlar to‘plamlarida (Adam, RMSProp, Adagrad) usul ma’lumotlarining past umumlashtirilishini qo‘llab-quvvatlovchi tadqiqotlar mavjud. Ushbu kamchilik, moslashuvchan o‘rganish tezligiga ega algoritmlar qayta o‘qitishga ko‘proq moyil bo‘lganligi sababli, ularning sinov namunasidagi xatosi sezilarli darajada oshishi mumkin.
Ko‘p sonli parametrlarga ega bo‘lgan ko‘plab muammolar uchun adaptiv usullar SGD ishlashi natijasida olingan echimlardan tubdan farq qiladigan echimlarga yaqinlashishi mumkin. Hozirgi vaqtda adaptiv algoritmlar ko‘pincha ko‘plab paketlarda (masalan, Scikit- learn) standart usullardir. Biroq, stoxastik gradient tushish usuli bilan solishtirganda, ko‘p parametrli ma’lumotlar to‘plamlarida (Adam, RMSProp, Adagrad) usul ma’lumotlarining past umumlashtirilishini qo‘llab-quvvatlovchi tadqiqotlar mavjud. Ushbu kamchilik, moslashuvchan o‘rganish tezligiga ega algoritmlar qayta o‘qitishga ko‘proq moyil bo‘lganligi sababli, ularning sinov namunasidagi xatosi sezilarli darajada oshishi mumkin.
|
| |
