|
Chiqish qatlami vazinlarni sozlash
|
| bet | 3/4 | | Sana | 31.10.2023 | | Hajmi | 0.75 Mb. | | #92000 |
Bog'liq SI M 1. MyFile, Mustaqil ish5, 187-сон 06.04.2017. Umumiy o‘rta va o‘rta maxsus ta’limning davlat ta’lim standartlarini tasdiqlash to‘g‘risida, 2-topshiriq.moʻm.maxmasalayeva.yulduz, erkaboyev ulug\'bek, 1000words, itb 4, Mustaqil ish, 777888, IYoD amaliyot hisobot, 389 22.06.2021Chiqish qatlami vazinlarni sozlash.
Kirish va chiqish qatlamlari orasidagi neyron tarmoqlarda neyron tarmoq ichida nol yoki noldan ortiq yashirin qatlamlardan foydalanish mumkin. Ko'p sonli yashirin qatlamlarning ta'siri neyron tarmog'ining ishlashida ko'proq o'zgarishlarga ega bo'lib, bunga erishish mumkin (Kavzoglu, 2001). Kanellopoulos va Wilkinson (1997) 20 yoki undan ortiq sinflar mavjud bo'lganda, ikkita yashirin qatlamni hisobga olish kerakligini taklif qildilar, ikkinchi yashirin qatlamdagi neyronlar chiqish qatlamidan ikki-uch baravar ko'p. Sarle (2000) yashirin qatlamdagi neyronlar sonini aniqlash sabablarini ta'kidlash uchun sabablarni eslatib o'tadi. Sabablari mavjud jami kirish va chiqish neyronlari, o'quv ma'lumotlari to'plamining o'lchami, tasniflashning murakkabligi, tasniflanadigan kirish ma'lumotlaridagi shovqin, yashirin qatlam neyronini faollashtirish funktsiyasi va o'qitish algoritmi turi.
ANNni o'rgatish deganda ANN ning har bir ulanishida mavjud bo'lgan og'irliklarni sozlash uchun qandaydir o'qitish algoritmidan foydalanish tushuniladi (4.2-rasm). Trening davomida og'irliklarni sozlash uchun lotinlar orqaga tarqalish algoritmi orqali og'irliklarning o'zgarishi haqida g'amxo'rlik qiladi. Birinchi bosqich xatosi ANN dan yo'qotish funktsiyasi orqali, uning hosilasi bilan olinadi va har bir funktsiyani kompozitsiyadan chiqarish bilan, xatoni oxiridan boshigacha qaytarish mumkin. Oldinga uzatishni amalga oshirish uchun funktsiyani to'g'ridan-to'g'ri qo'llash orqali differentsial funktsiyalar kutubxonalari to'plami bo'lishi mumkin. Ikkinchidan, ushbu kutubxonalar orqali kompleksni birlashtirish uchun funktsiya hosilasi bilan orqaga tarqalish qo'llanilishi mumkin.
5-rasm Og'irliklarni sozlash uchun orqaga tarqalish.
To'g'ridan-to'g'ri uzatish paytida ularning parametrlari, shuningdek, funktsiya chaqiruvlari treki deb ataladi, saqlanishi kerak. Bu funksiyalarning hosilalaridan orqaga tarqaladigan xatolarni bilish mumkin. Bunga funksiya chaqiruvlarini de-stacking orqali erishiladi. Bu avtomatik farqlash yondashuvi deb ataladi va faqat hosilasini amalga oshirish bilan ta'minlangan funktsiyani talab qiladi. Matritsalar ustidagi asosiy matematik operatsiyalarni amalga oshirish orqali avtomatik farqlashni tezlashtirish mumkin. Neyron tarmoqlarda oldingi qatlam neyronlari ANNni o'rgatish uchun orqaga tarqalishni amalga oshirish uchun o'z chiqishini keyingi qatlam neyronlariga va chiqish qatlamlarining neyronlariga yo'naltiradi. Orqaga tarqalishda chiqish qatlamidagi xato oldingi qatlamdagi og'irliklarni sozlash uchun ishlatiladi, keyinroq oldingi qatlamdan chiqadi, so'ngra chiqish qatlami xatolikni aniqlash va oldingi qatlamdagi og'irliklarni qo'shimcha sozlash uchun ishlatiladi. . 4.2-rasmda orqaga tarqaladigan xatolarni amalga oshirish jarayoni ko'rsatilgan. ANNning har bir bosqichida, masalan, kiritish —► Qoʻngʻiroqlarni yoʻnaltirish -> Yoʻqotish funksiyasi -> hosilaviy —<• xatolarning orqaga tarqalishi, oʻquv bosqichining har bir ogʻirligi boʻyicha tuzatish koeffitsienti deltasi mavjud.
Og'irlikni yangilash. ANNni o'qitishda og'irliklarni sozlashda xato o'zgarish tezligi hosila sifatida ko'rsatiladi (4.3-rasm). Haqiqiy ma'lumotlarni qayta ishlashda og'irliklarni juda yuqori tezlik bilan o'zgartirish mumkin emasligi kuzatildi. Kavzoglu (2001) ta'kidlaganidek, o'rganish tezligi qiymati 0,2, ishlatilgan momentum bilan; impuls bilan u 0,1 dan 0,2 gacha bo'lishi kerak. Pal va Mitra (1992) trening davomida parametrlarni o'zgartirishni taklif qilishdi. Ma'lumotlarning chiziqli bo'lmaganligi juda ko'p bo'lganligi sababli, og'irlikdagi har qanday juda katta o'zgarishlar talabga muvofiq sozlashni o'z ichiga olmaydi. Aniqlanishicha, lotin faqat hududda mahalliy hisoblanadi. ANNdagi vaznni yangilashning umumiy qoidasini delta qoidasi deb atash mumkin:
6-rasm. Trening davomida mahalliy va global minimallar.
O'rganish tezligi ANNda qo'llanilganidek doimiy; Bu vazn qiymatlarini muammosiz va sekin yangilash va katta zinapoyalar va tartibsiz xatti-harakatlardan qochish uchun kichik qiymatga ega. Ushbu kontseptsiyani tasdiqlash uchun quyidagi fikrlarni ko'rib chiqish mumkin:
• lotin stavkalari ijobiy bo'lsa, og'irlikning ortishi kuzatiladi, bu xatoni oshiradi, shuning uchun yangi og'irlik kichikroq bo'lishi kerak.
• lotin stavkalari manfiy bo'lsa, og'irlikning oshishi kuzatiladi, bu xatolikni kamaytiradi, shuning uchun og'irliklarni oshirish kerak.
• Hosil 0 bo'lsa, u barqaror minimumda bo'ladi. Barqaror holatga kelganda, yangilanishlar talab qilinmaydi.
Hozirgi stsenariyda ANNda qo'llaniladigan bir nechta vaznni yangilash usullari ko'pincha optimallashtiruvchilar deb ataladi. Og'irlikni optimallashtiruvchi sifatida delta qoidasi eng oddiy va intuitiv hisoblanadi; ammo, uning bir qancha kamchiliklari bor. Sinovda namunaviy ma'lumotlarni kiritish/chiqarish bo'yicha o'quv majmuasi kichik bo'lishi mumkin, ammo haqiqiy dunyoda ma'lumotlar hajmi juda katta bo'lishi mumkin. To'plamli o'rganishni ko'rib chiqayotganda, butun ma'lumotlar to'plamini hisobga olgan holda xatolik xarajati funktsiyasi yoki yo'qotish funktsiyasi minimallashtiriladi. Ammo ommaviy o'rganish deb ataladigan bu katta ma'lumotlar to'plami uchun juda sekin bo'lishi mumkin. Tezlikni oshirish uchun ma'lumotlar to'plamini tasodifiy aralashtirish sharti bilan kichik partiyalarni yaratish mumkin, bu mini-partiyali gradient tushishi deb ataladi (Benediktsson va boshq., 1993).
|
| |
