1.3-rasm: Nochiziqli faollashtirish funksiyalariga misollar. (a)
tan funksiyasi,
ya'ni
g(net) =
enet+eÿnet . (b) to'g'rilangan chiziqli birlik (ReLU), ya'ni
g (aniq) =
maksimal (0,
aniq).
g (aniq) = maks (0, aniq)
g (aniq) = tanh (aniq)
Toÿliq matn: http://dx.doi.org/10.1561/2000000071
-2 -10 1 -1
4
3
-6
-1,5
6
-2 -10 1
-4
1
-4
4
2
5
3
0
5
6
-5
0
5
-3
1.5
-6
2
-5
6
1
-0,5
2
4
-3
0,5
3
-1
qatlam va
{wj0} - tarafkashlik shartlari. Yashirin neyron chiqish chiqaradi
1.2.
Neyron tarmoqlar
ko'p hollarda samaraliroq. Bundan tashqari, Pa-rametrli Rectified Lineer Unit (PReLU)
[63] kabi boshqa tanlovlar ham mavjud.
ReLU ni qabul qilish
netj yashirin neyronning aniq faollashuvi sifatida qabul qilinadi.
{wji}
7
Misol uchun, yashirin neyron faollashuv bo'lmasa, hech qanday javob bermaydi
netj =
1.3-rasmda ko'rsatilganidek tanh funktsiyasi o'tmishda chiziqli bo'lmagan
faollashtirish
funktsiyasi sifatida keng qo'llanilgan. So'nggi yillarda bu aniqlandi
Chiqish qatlamida
har bir chiqish neyron k ham birinchi navbatda o'z tarmog'ini hisoblaydi
(1.2)
xiwji + wj0.
Rektifikatsiyalangan chiziqli birlik (ReLU) siyrak nerv reaktsiyalariga olib keladi va shunday bo'ladi
netk =
yj chiziqli bo'lmagan faollashtirish
funktsiyasi orqali, ya'ni
sifatida hisoblangan
(1.1)
yjwkj + wk0. j=1
yj =
g (netj ).
chegaradan kattaroq.
