|
Gradient tushish usulining afzalliklari
|
| bet | 5/11 | | Sana | 14.05.2024 | | Hajmi | 345,07 Kb. | | #232474 |
Bog'liq GRADIENT TUSHISHGradient tushish usulining afzalliklari.
Gradient tushish usulining afzalliklari sifatida, birinchi navbatda, amalga oshirishning soddaligi, shuningdek, usul mos ravishda konveks va konveks bo‘lmagan funktsiyalar uchun global yoki mahalliy minimal darajaga yaqinlashishi kafolatlanganligini ta’kidlash mumkin. Biroq, ushbu usulning ko‘plab kamchiliklari mavjud, buning natijasida ushbu usul kamdan- kam hollarda amaliyotda qo‘llaniladi.
Gradient tushishi usuli katta ma’lumotlar to‘plamlarida juda sekin bo‘lishi mumkin, chunki har bir iteratsiyada o‘quv namunalari to‘plamining barcha vektorlari uchun gradient hisoblanadi.
Modelni tezda yangilashga va o‘quv jarayonida o‘quv namunasining yangi namunalarini qo‘shishga imkon bermaydi, chunki maqsadli funktsiya tarozilari bir vaqtning o‘zida butun asl ma’lumotlar to‘plami uchun yangilanadi.
Konveks bo‘lmagan funktsiyalar uchun mahalliy minimal darajaga tushish muammosi mavjud, chunki usul faqat konveks maqsadli xato funktsiyalari uchun aniq echimni kafolatlaydi.
Optimal o‘rganish tezligini tanlash qiyin bo‘lishi mumkin. Juda past o‘rganish tezligi juda sekin konvergentsiyaga olib kelishi mumkin, aksincha, yuqori o‘rganish tezligi konvergentsiyaga to‘sqinlik qilishi mumkin va natijada xato funktsiyasi minimal atrofida o‘zgarib turadi va unga etib bormaydi.
Barcha parametrlarning bir xil o‘quv tezligida bir xil yangilanishi, agar asl ma’lumotlar to‘plami muvozanatli bo‘lmasa, ya'ni namunada kamroq ob'ektlar bilan ifodalangan sinflar mavjud bo‘lsa, o‘rganish sifatining yomonlashishiga olib keladi.
Zamonaviy mashinani o‘rganish paketlari klassik gradient tushish usulining turli xil o‘zgarishlaridan foydalanadi, ular yuqoridagi muammolarni hal qilish mexanizmlari tufayli Real amaliy muammolarda yuqori ishlash va aniqlikka ega. Biroq, ko‘pincha allaqachon amalga oshirilgan neyron tarmoqlarni o‘qitish usullaridan foydalanuvchi " qora quti "rejimida o‘rnatilgan optimallashtirish algoritmlaridan foydalanadi, ya'ni.ko‘rib chiqilayotgan ma’lumotlar to‘plamida foydalanish uchun mavjud bo‘lgan usullarning xatti- harakatlari haqida etarli ma’lumotga ega emas.
Masalan, Python-da mashhur Scikit-learn Machine Learn kutubxonasidagi mlpclassifier klassifikatori foydalanuvchiga bir nechta usullarni tanlashni ta’minlaydi: SGD (stoxastik gradient), Adam (adaptiv momentni baholash usuli), L-BFGS (broyden – Fletcher
Goldfarb – Shanno kvazinyuton algoritmi cheklangan xotiradan foydalanish bilan) [4]. Bugungi kunda neyron tarmoqlarni o‘qitishda Python tilida yozilgan keras kutubxonasi SGD, RMSprop, Adagrad, Adadelta, Adam, Nadam, Adamax algoritmlarini o‘z ichiga oladi [5]. Bundan tashqari, foydalanuvchi nafaqat optimallashtirish algoritmini tanlashi, balki umuman olganda, algoritmning sozlash parametrlarining qiymatlarini sozlashi kerak, bu esa ushbu usullarning xususiyatlarini tushunmasdan qilish qiyin.
Ushbu ishda gradient tushish usullari va kvazinyuton usullarining xususiyatlarini o‘rganish va tahlil qilish, shuningdek ularni neyron tarmoqlarni o‘qitishning turli amaliy vazifalarida qo‘llash shartlari shakllantirilgan.
|
| |
