|
Ikkinchi darajali RNNlar yuqori darajadagi og'irliklardan foydalanadilar standart o'rniga og'irliklar va holatlar mahsulot bo'lishi mumkin. Bu to'g'ridan-to'g'ri a-ga xaritalashga imkon beradi cheklangan davlat mashinasi ham mashg'ulotda, barqarorlikda va vakillikda. Uzoq muddatli xotira bunga misoldir, ammo bunday rasmiy xaritalar yoki barqarorlikni isbotlovchi hujjat yo'q.
Uzoq muddatli xotira birligi
Uzoq muddatli qisqa muddatli xotira (LSTM) bu a chuqur o'rganish dan qochadigan tizim yo'qolib borayotgan gradyan muammosi. LSTM odatda "unutilgan eshiklar" deb nomlangan takrorlanadigan eshiklar tomonidan ko'paytiriladi. LSTM backpropagated xatolarning yo'q bo'lib ketishiga yoki portlashiga yo'l qo'ymaydi. Buning o'rniga, xatolar kosmosda ochilgan cheksiz ko'p miqdordagi virtual qatlamlar orqali orqaga qarab oqishi mumkin. Ya'ni, LSTM vazifalarni o'rganishi mumkin oldin minglab, hatto millionlab diskret vaqt qadamlari bilan sodir bo'lgan voqealar xotiralarini talab qiladi. Muammolarga xos LSTMga o'xshash topologiyalar rivojlanishi mumkin. LSTM muhim voqealar orasidagi uzoq kechikishlarni hisobga olgan holda ham ishlaydi va past va yuqori chastotali komponentlarni aralashtiruvchi signallarni boshqarishi mumkin.
Ko'pgina dasturlarda LSTM RNN to'plamlari ishlatiladi va ularni o'rgatish Connectionist Temporal Classification (CTC) mos keladigan kirish ketma-ketliklarini hisobga olgan holda o'quv majmuasida yorliqlar ketma-ketligi ehtimolini maksimal darajada oshiradigan RNN og'irlik matritsasini topish. CTC ham moslashtirishga, ham tanishga erishadi. LSTM tanib olishni o'rganishi mumkin kontekstga sezgir tillar oldingi modellardan farqli o'laroq yashirin Markov modellari (HMM) va shunga o'xshash tushunchalar.
Gate recurrent unit
Gate recurrent birliklari (GRU) - bu kirish mexanizmi takrorlanadigan neyron tarmoqlari Ular to'liq shaklda va bir nechta soddalashtirilgan variantlarda qo'llaniladi. Ularning polifonik musiqa modellashtirish va nutq signallarini modellashtirish bo'yicha ishlashi uzoq muddatli xotiraga o'xshashligi aniqlandi. Ular LSTM ga qaraganda kamroq parametrlarga ega, chunki ular chiqish eshigiga ega emaslar.
Ikki tomonlama takrorlanadigan neyron tarmoqlari
Ikki yo'nalishli RNNlar elementning o'tmishi va kelajakdagi kontekstiga asoslanib ketma-ketlikning har bir elementini bashorat qilish yoki belgilash uchun cheklangan ketma-ketlikni qo'llaydi. Bu ikkita RNNning chiqishlarini birlashtirish orqali amalga oshiriladi, biri ketma-ketlikni chapdan o'ngga, ikkinchisi o'ngdan chapga ishlov beradi. Birlashtirilgan natijalar o'qituvchi tomonidan berilgan maqsad signallarining bashoratidir. Ushbu uslub, ayniqsa LSTM RNN bilan birlashganda foydali ekanligi isbotlangan.
RNNlarni o'qitish uchun eng keng tarqalgan global optimallashtirish usuli bu genetik algoritmlar, ayniqsa, tuzilmagan tarmoqlarda. Dastlab, genetik algoritm neyron tarmoq og'irliklari bilan oldindan belgilangan tartibda kodlangan, bu erda bitta gen xromosoma bitta og'irlik havolasini ifodalaydi. Butun tarmoq bitta xromosoma sifatida ifodalanadi. Fitnes funktsiyasi quyidagicha baholanadi:
Xromosomada kodlangan har bir vazn tarmoqning tegishli vazn zvenosiga biriktirilgan.
O'quv to'plami kirish signallarini oldinga yoyadigan tarmoqqa taqdim etiladi.
O'rtacha kvadratik xatolik fitness funktsiyasiga qaytariladi.
Ushbu funktsiya genetik selektsiya jarayonini boshqaradi.
Ko'p xromosomalar populyatsiyani tashkil qiladi; shuning uchun to'xtash mezonlari qondirilguncha ko'plab turli xil asab tarmoqlari rivojlanib boradi. Umumiy to'xtatish sxemasi:
Neyron tarmoq o'quv ma'lumotlarining ma'lum bir foizini o'rganganida yoki
Qachon o'rtacha kvadrat-xatoning minimal qiymati qondiriladi yoki O'qitish avlodlarining maksimal soniga erishilganda. To'xtash mezonlari fitnes funktsiyasi bilan baholanadi, chunki u mashg'ulotlar davomida har bir tarmoqdan o'rtacha kvadratik xatoning o'zaro javobini oladi. Shuning uchun genetik algoritmning maqsadi fitnes funktsiyasini maksimal darajaga ko'tarish, o'rtacha kvadrat-xatolikni kamaytirishdir.
Og'irlikning yaxshi to'plamini izlash uchun boshqa global (va / yoki evolyutsion) optimallashtirish usullaridan foydalanish mumkin simulyatsiya qilingan tavlanish yoki zarrachalar to'dasini optimallashtirish.
| 