Formal neyron modelining kamchiliklari.
Neyron o‘z chiqishini bir zumda hisoblab chiqadi deb taxmin qilinadi, shuning uchun bunday neyronlar yordamida ichki holatga ega tizimlarni to‘g‘ridan-to‘g‘ri modellashtirish mumkin emas.
Formal neyronlar, biologik neyronlardan farqli o‘laroq, axborotni sinxron tarzda qayta ishlay olmaydi.
Faollashtirish funksiyasini tanlash uchun aniq algoritmlar mavjud emas.
Butun tarmoqning ishlashini tartibga solish mumkin emas.
Haqiqiy neyronlar uchun chegara neyronning faolligi tarmoqning umumiy holatiga qarab dinamik ravishda o‘zgaradi va og‘irlik koeffitsientlari o‘tish signallariga qarab o‘zgaradi.
Bitta neyron eng oddiy hisob-kitoblarni amalga oshirishi mumkin, ammo neyron tarmog‘ining asosiy funksiyalari alohida neyronlar tomonidan emas, balki ular orasidagi aloqalar bilan ta’minlanadi. Yagona qatlamli perseptron oddiy tarmoq bo‘lib, u qatlamni tashkil etuvchi neyronlar guruhidan iborat bo‘ladi. Kirish
qatlamdagi har bir neyronning mos keladigan kirishiga beriladi. O‘z navbatida, neyronlar chiqishni bir-biridan mustaqil ravishda hisoblab chiqadi. Shubhasiz, chiqishning o‘lchami (ya’ni elementlarning soni) neyronlar soniga teng va barcha neyronlar uchun sinapslar soni bir xil bo‘lishi va kirish signalining o‘lchamiga mos kelishi kerak. Ko‘rinib turgan soddaligiga qaramay, bir qatlamli perseptron bir qator foydali vazifalarni bajarishi mumkin, masalan, tasvirlarni tasniflash yoki mantiqiy funksiyalarning qiymatlarini hisoblash
Ko‘p qatlamli perseptron X kirish qiymati uchun Y chiqish qiymatini hisoblashga qodir. Boshqacha qilib aytganda, tarmoq qandaydir vektor
funksiyasining qiymatini hisoblaydi: Y F( X ) . Shunday qilib, idrok etuvchiga
qo‘yilgan muammoning sharti. (x1,..., xS )
vektorlar to‘plami sifatida shakllantirish
kerak.Masala yechimi {y1,..., yS} vektorlar ko‘rinishida, Bu yerda s yS F(xS ) .
qilishdir. Biz bu xaritalashni perseptrondan to‘liq chiqarib olishimiz mumkin emas, lekin biz faqat ixtiyoriy miqdordagi nuqtalarning tasvirlarini sanashimiz mumkin. Rasmiylashtirish vazifasi, ya’ni kirish va chiqish vektorlarining tarkibiy qismlariga ega bo‘lgan ma’noni tanlash, shaxs tomonidan amaliy tajriba asosida hal qilinadi. Afsuski, neyron tarmoqlar uchun qat’iy rasmiylashtirish retseptlari hali mavjud emas.
Ko‘p qatlamli perseptronni qurish uchun uning parametrlarini quyidagi algoritmga muvofiq tanlash kerak:
X kirish vektorining komponentlariga qanday ma’no bog‘langanligini aniqlang. Kirish vektorida masalaning rasmiylashtirilgan sharti, ya’ni javob olish uchun zarur bo‘lgan barcha ma’lumotlar bo‘lishi kerak.
Y chiqish vektorini shunday tanlangki, uning komponentlarida muammoga to‘liq javob bo‘lsin.
rasm. Bir qavatli perseptron.
Neyronni faollashtirish funksiyasi turini tanlang. Bunday holda, muammoning o‘ziga xos xususiyatlarini hisobga olish maqsadga muvofiqdir, chunki yaxshi tanlov o‘rganish tezligini oshiradi.
Har bir qatlam uchun qatlamlar va neyronlar sonini tanlang.
Tanlangan faollashtirish funksiyasi asosida kirishlar, chiqishlar, og‘irliklar va chegara darajalari diapazonini o‘rnating.
Og‘irliklar va chegaralarga boshlang‘ich qiymatlarni belgilang. Neyronlar to‘yingan bo‘lmasligi uchun boshlang‘ich qiymatlar katta bo‘lmasligi kerak, aks holda o‘rganish juda sekin bo‘ladi. Ko‘pgina neyronlarning chiqishi nolga teng bo‘lmasligi uchun boshlang‘ich qiymatlar juda kichik bo‘lmasligi kerak, aks holda o‘rganish ham sekinlashadi.
Mashg‘ulotlarni o‘tkazish, ya’ni vazifani eng yaxshi tarzda hal qilish uchun tarmoq parametrlarini tanlang. Trening oxirida tarmoq ushbu turdagi muammolarni hal qila oladi. u o‘qitilgan.
Tarmoq kirishiga masala shartlarini X vektor ko‘rinishida taqdim eting. Masalaning formollashtirilgan yechimini beradigan chiqish vektor Y ni hisoblang.
O‘rganish qobiliyati miyaning asosiy xususiyatidir. Sun’iy neyron tarmoqlar kontekstida o‘quv jarayonini vazifani samarali bajarish uchun tarmoq arxitekturasini, shuningdek ulanishlar og‘irliklarini sozlash sifatida ko‘rish mumkin. Odatda, neyron
tarmoq taqdim etilgan o‘qitish misollaridan og‘irliklarni moslashtirishi kerak. Tarmoqning misollardan o‘rganish xususiyati ularni oldindan belgilangan bo‘yicha ishlaydigan tizimlarga qaraganda jozibador qiladi.
Rasm. Lokal minimum muammolari.
Mavjud barcha o‘qitish usullari orasida ikkita sinfni ajratish mumkin: deterministik va stokastik.
Deterministik usul tarmoq parametrlarini joriy parametrlari, kirish qiymatlari, haqiqiy va kerakli chiqishlari asosida iterativ ravishda tuzatadi. Bunday usulning yorqin tasviri orqaga tarqalish usulidir.
Stokastik o‘rganish usullari tarmoq parametrlarini tasodifiy o‘zgartiradi. Bunday holda, faqat yaxshilanishlarga olib kelgan o‘zgarishlar saqlanadi. Quyidagi algoritmni stokastik o‘rganish usuliga misol qilib keltirish mumkin:
Tarmoq sozlamalarini tasodifiy yo‘l bilan tanlang. Kirishlar to‘plamini taqdim eting va olingan natijalarni hisoblang.
Ushbu chiqishlarni keraklilar bilan solishtiring va ular orasidagi farqni hisoblang. Bu farq xato deb ataladi. Treningning maqsadi xatoni minimallashtirishdan iborat.
Agar xato kamaygan bo‘lsa, tuzatish saqlanadi, aks holda tuzatish o‘chiriladi va yangisi tanlanadi. 2- va 3-bosqichlar tarmoq o‘qitilguncha takrorlanadi.
Shuni ta’kidlash kerakki, stokastik o‘rganish usuli mahalliy minimumning tuzog‘iga tushishi mumkin (3-rasm).
Faraz qilaylik, asl qiymat tasodifiy sozlash qadamlari kichik bo‘lsa, A nuqtadan har qanday og‘ishlar xatoni oshiradi va rad etiladi. Shunday qilib, B nuqtasidagi eng kichik xato qiymati hech qachon topilmaydi. Tarmoq parametrlarining tasodifiy tuzatishlari juda katta bo‘lsa, xato shu qadar keskin
o‘zgaradiki, u hech qachon minimallardan biriga joylashmaydi. Bunday
muammolarni oldini olish uchun tasodifiy tuzatish bosqichlarining o‘rtacha hajmini asta-sekin kamaytirish mumkin. O‘rtacha qadam kattaligi katta bo‘lsa, xato qiymati barcha qiymatlarni teng ehtimollik bilan qabul qiladi. Agar qadam o‘lchami asta-
sekin kamaytirilsa, u holda xato qiymati bir muncha vaqt B nuqtasida qolib ketadigan holatga erishiladi. Qadam o‘lchami yanada kamayganda, xato qiymati A nuqtada qisqa vaqtga to‘xtaydi. Agar qadam o‘lchami doimiy ravishda kamaytirilsa, oxir-oqibat, mahalliy minimal A ni yengish uchun yetarli bo‘lgan qadam hajmiga erishiladi.
Agar o‘rganish davomida tarmoq har bir kiritish misoli uchun to‘g‘ri javoblarga (tarmoq chiqishi) ega bo‘lsa, algoritm nazorat ostida o‘rganish algoritmi deb ataladi.
Ya’ni juft vektorlar to‘plami {( xS , d S )}
oldindan beriladi. Bu yerda
|
