4
NORAVSHAN MANTIQ VA NORAVSHAN XULOSA. NEYRON
TARMOQLARINING TASNIFI VA XUSUSIYATLARI.
Mamirxo‘jayev Muhammadamin Mavlonjon o‘g‘li
Sotvoldiyeva Mohiraxon Baxromjon qizi
To‘ychiboev Abbosjon Erali o‘g‘li
Umaraliyev Jamshidbek To‘xtasin o‘g‘li
Muhammad Al-Xorazmiy nomidagi TATU Farg‘ona filiali talabalari
Annotatsiya : Ushbu maqolada neyron tarmoqlarini o'qitishda paydo bo'ladigan
optimallashtirish muammosining xususiyatlari; minimallashtirish yo'nalishini tanlash
algoritmlari: eng keskin tushish algoritmi, partfan usullari, bir bosqichli kvazi-Nyuton
usuli va konjuge gradyanlari haqida tushchalar berilgan.
Kalit so‘zlar : funktsiyalari, minimallashtirish, Parteran usul.
Neyron tarmoqlarini o'rgatishning universal usuli mavjud - tarmoq parametrlarining
aniq ko'rsatilmagan funktsiyasi sifatida taxminiy ko'rsatkichni minimallashtirish. Ushbu
yondashuvni amalga oshirishda quyidagilar nazarda tutilgan:
• kirish signallari vektorlaridan tashkil topgan o'quv namunasi berilgan;
• baholash funktsiyasida belgilangan tegishli chiqish signallariga talablar ma'lum;
• butun namuna yoki uning biron bir qismi uchun taxmin qiymatlardan ma'lum tarzda
tuzilgan.
Tayyorgarlikdan so'ng (o'quv namunasini yaratish, taxminiy funktsiyani tanlash,
kiritilgan ma'lumotlarni oldindan qayta ishlash va hk), mashg'ulotdan oldin bizda ma'lum
funktsiyani hisoblash usuli mavjud bo'lib, uni minimallashtirish parametrlar funktsiyasi
sifatida tarmoqni to'g'ri ishlashi uchun sozlaydi.
Neyron tarmoqlarini o'qitishda paydo bo'ladigan optimallashtirish muammosining
xususiyatlari
Neyron tarmoqlari uchun optimallashtirish muammolari bir qator o'ziga xos
cheklovlarga ega. Ular o'quv muammosining ulkan hajmi bilan bog'liq. Parametrlar soni
va boshqalarga erishish mumkin. Shaxsiy kompyuterlardagi eng sodda dasturiy
simulyatorlarda parametrlar tanlangan. Yuqori o'lchovliligi tufayli algoritm uchun ikkita
talab paydo bo'ladi:
5
1. Xotirani cheklash. Parametrlar soni bo'lsin. Agar algoritm kattalikdagi xotira
xarajatlarini talab qiladigan bo'lsa, unda mashg'ulot uchun qo'llanilishi ehtimoldan yiroq
emas. Xotirani iste'mol qiladigan algoritmlarga ega bo'lish maqsadga muvofiqdir.
2. Algoritmning eng mashaqqatli bosqichlarini va tarjixon asab tarmog'i bilan parallel
hisoblash imkoniyati.
3. O'qitilgan neyrokompyuter barcha sinov muammolarini maqbul aniqlik bilan hal
qilishi kerak. Shuning uchun o'quv muammosi ko'p mezonli optimallashtirish muammosiga
aylanadi: ko'p sonli funktsiyalarning umumiy minimal nuqtasini topish kerak.
Neyrokompyuterni o'qitish ushbu nuqtaning mavjudligi gipotezasiga asoslanadi.
4. O'qitilgan neyrokompyuter eskisini yo'qotmasdan yangi ko'nikmalarni egallashi
kerak. Ehtimol zaifroq talab: yangi ko'nikmalar eskilarida aniqlikni yo'qotish bilan birga
bo'lishi mumkin, ammo yo'qotish muhim bo'lmasligi kerak. Bu shuni anglatadiki,
taxminlarning umumiy minimal darajasining topilgan nuqtasining etarlicha katta
mahallasida ularning qiymatlari minimaldan ahamiyatsiz farq qiladi. Shunday qilib, bizda
neyrokompyuterni umumiy optimallashtirish muammolaridan ajratib turadigan to'rtta
cheklovlar mavjud:
• parametrlarning astronomik soni;
• mashg'ulotlarda yuqori parallellikka ehtiyoj;
• hal qilinayotgan vazifalarning ko'p mezonlari;
• barcha minimallashtirilgan funktsiyalarning qiymatlari minimal darajaga yaqin
bo'lgan etarlicha keng maydonni topish zarurati.
O'qishdagi cheklovlarni hisobga olish
Tarmoq parametrlari uchun eng oddiy shakldagi cheklovlar mumkin:
Ular turli sabablarga ko'ra kiritiladi: neyronlarning o'ta keskin yoki aksincha sayoz
xususiyatlaridan qochish, sinapslarda signal kuchaytiruvchi juda katta omillarning paydo
bo'lishining oldini olish va boshqalar.
Cheklovlarni, masalan, penalti funktsiyalari usuli yoki proektsiyalar usuli bilan
hisobga olish mumkin:
• Jazo funktsiyalari uslubidan foydalanish, cheklov doirasidan chiqib ketadigan
parametrlar uchun penalti qo'shilganligini anglatadi. Penalti funktsiyalarining hosilalari
~ gradientga kiritiladi.
• Proektiv usul shuni anglatadiki, agar tarmoq parametrlarni o'zgartirishni taklif qilsa
va ba'zi birlari cheklovlardan oshib ketsa, siz
6
Amaliyot shuni ko'rsatadiki, proektsion usul qiyinchiliklarga olib kelmaydi. Jarima
funktsiyalari bilan ishlash unchalik muvaffaqiyatli emas. Keyinchalik, biz cheklovlar
usullardan biri bilan hisobga olinadi deb o'ylaymiz va biz o'rganishni cheklanmagan
minimallashtirish sifatida gaplashamiz.
Parametrlar vektorining boshlang'ich qiymati berilsin va baholash funktsiyasi
hisoblansin. Bir o'lchovli optimallashtirish protsedurasi minimalning taxminiy
pozitsiyasini beradi (umuman aytganda, mahalliy).
Bir o'lchovli optimallashtirish uchun eng aniq yo'nalish antigradient yo'nalishi
hisoblanadi:
Biz har bir qadamda ushbu yo'nalishni tanlaymiz, so'ngra bir o'lchovli
optimallashtirishni amalga oshiramiz, keyin yana gradientni hisoblaymiz va hokazo. Bu
ba'zan yaxshi ishlaydigan tik tushish usuli. Ammo baholash funktsiyasining egriligi
(ob'ektiv funktsiyasi) haqida ma'lumotlardan foydalanmaslik va gradient juda kichik
qiymatlarni qabul qilganda, optimal echim nuqtasi yaqinida minimallashuvning keskin
pasayishi, ko'pincha eng baland tushish algoritmini samarasiz qiladi.
Yana bir usul - tasodifiy bir o'lchovli optimallashtirish yo'nalishini tanlash. Bu juda
ko'p bosqichlarni talab qiladi, ammo bu juda oddiy - bu faqat taxminiy hisob-kitob bilan
tarmoqning to'g'ridan-to'g'ri ishlashiga muhtoj.
Eng keskin tushishdagi kamchiliklarni tuzatish uchun takrorlanadigan va
o'zgartirilgan partan usullari ishlab chiqilgan.
|
