Koshi o'rganish algoritmidagi qiyinchiliklar
Koshi mashinasi va Boltsman mashinasi tomonidan berilgan o'rganish tezligi yaxshilanganiga qaramay, yaqinlashish vaqti hali ham orqaga tarqalish algoritmi vaqtidan 100 baravar ko'p bo'lishi mumkin. E'tibor bering, tarmoq falaji Koshi o'rganish algoritmi uchun, ayniqsa logistika funktsiyasi kabi chiziqli bo'lmagan tarmoq uchun juda xavflidir. Koshi taqsimotining cheksiz dispersiyasi tarozilarning cheksiz kattaliklarga o'zgarishiga olib keladi. Bundan tashqari, og'irlikdagi katta o'zgarishlar ba'zan noqulay bo'lgan holatlarda ham qabul qilinadi, ko'pincha tarmoq neyronlarining kuchli to'yinganligiga olib keladi va natijada falaj xavfi mavjud.
o'qitish orqali Koshi orqaga tarqalishni shape bilan birlashtirish. Orqaga tarqalish va Koshi ta'limidan foydalangan holda kombinatsiyalangan algoritmdagi tarozilarni tuzatish ikkita komponentdan iborat: (1) teskari tarqalish algoritmi yordamida hisoblangan yo'naltirilgan komponent va (2) Koshi taqsimoti bilan aniqlangan tasodifiy komponent. Ushbu komponentlar har bir vazn uchun hisoblanadi va ularning yig'indisi vaznning o'zgarishi miqdoridir. Xuddi shundayKoshi algoritmi, vazn o'zgarishini hisoblagandan so'ng, maqsad funktsiyasi hisoblanadi. Agar yaxshilanish bo'lsa, o'zgarish albatta saqlanib qoladi. Aks holda, Boltsman taqsimoti bilan belgilanadigan ehtimollik bilan saqlanib qoladi. Og'irlikni tuzatish har bir algoritm uchun ilgari taqdim etilgan tenglamalar yordamida hisoblanadi:
bu erda Koshi nisbiy qiymatlarini boshqaruvchi koeffitsient va og'irlik bosqichining tarkibiy qismlarida teskari tarqalish. Agar ? nolga teng, tizim butunlay Koshi mashinasiga aylanadi. Agar ? birlikka tenglashtirilgan tizim teskari tarqatish mashinasiga aylanadi. Og'irlik funktsiyasini hisoblash o'rtasida faqat bitta vazn koeffitsientini o'zgartirish samarasiz. Ma'lum bo'lishicha, butun qatlamning barcha og'irliklarini darhol o'zgartirish yaxshiroqdir, garchi ba'zi vazifalar uchun boshqa strategiya yanada foydali bo'lishi mumkin. Birlashtirilgan o'qitish usuli bilan tarmoq falajini engish. Koshi mashinasida bo'lgani kabi, agar vazn o'zgarishi maqsad funktsiyasini yomonlashtirsa, Boltsman taqsimoti yordamida yangi vazn qiymatini saqlab qolish yoki oldingi qiymatni tiklash to'g'risida qaror qabul qilinadi. Shunday qilib, tarozi o'sishining yomonlashadigan to'plamini saqlab qolish ehtimoli cheklangan. Koshi taqsimoti cheksiz dispersiyaga ega bo'lgani uchun (tangens o'zgarishi diapazoni aniqlash sohasida), keyin tarozilarning katta o'sishi ehtimoli katta, bu ko'pincha tarmoq falajiga olib keladi.
Og'irlik qadamlarining o'zgarishi doirasini cheklashdan iborat aniq echim shu tarzda olingan algoritmning matematik to'g'riligi to'g'risida savol tug'diradi. Bugungi kunda tizimning global minimal darajaga yaqinlashishi faqat dastlabki algoritm uchun isbotlangan. Qadam hajmini sun'iy ravishda cheklash bilan bunday dalil yo'q. Aslida, ba'zi funktsiyalarni amalga oshirish uchun katta og'irliklar va ikkita katta og'irliklar talab qilinadigan holatlar eksperimental ravishda aniqlandi.
Yana bir yechim-to'yinganlik holatida bo'lgan neyronlarning tarozilarini randomizatsiya qilish. Uning kamchiligi shundaki, u o'quv jarayonini jiddiy ravishda buzishi mumkin, ba'zida uni cheksiz tortib oladi.
Falaj muammosini hal qilish uchun erishilgan o'rganishni buzmaydigan usul topildi. To'yingan neyronlar ularning out signallarini o'lchash orqali aniqlanadi. Out qiymati ijobiy yoki salbiy chegara qiymatiga yaqinlashganda, bu neyronni oziqlantiruvchi og'irliklarga siqish funktsiyasi ta'sir qiladi. Bu out neyron signalini olish uchun ishlatiladigan signalga o'xshaydi, faqat uning o'zgarishi oralig'i interval yoki boshqa mos keladigan to'plamdir. Keyin o'zgartirilgan vazn qiymatlari
Ushbu funktsiya juda katta og'irliklarning hajmini sezilarli darajada kamaytiradi, kichik vaznlarga ta'siri ancha zaiflashadi. Bundan tashqari, u katta tarozilar orasidagi kichik farqlarni saqlab, simmetriyani saqlaydi. Eksperimental ravishda ushbu funktsiya neyronlarni to'yinganlik holatidan tarmoqdagi o'rganishni buzmasdan chiqarib yuborishi ko'rsatilgan. Amaldagi funktsiyani optimallashtirish uchun katta kuch sarflanmadi va boshqa doimiy qiymatlar eng yaxshi bo'lishi mumkin.
|
