Oʻzbekiston respublikasi oliy ta’lim, fan va innovatsiyalar vazirligi mirzo ulugʻbek nomidagi oʻzbekiston milliy universitetining jizzax filiali

Download 0.75 Mb.
bet	2/4
Sana	31.10.2023
Hajmi	0.75 Mb.
	#92000

1 2 3 4

Bog'liq
SI M 1.
MyFile, Mustaqil ish5, 187-сон 06.04.2017. Umumiy o‘rta va o‘rta maxsus ta’limning davlat ta’lim standartlarini tasdiqlash to‘g‘risida, 2-topshiriq.moʻm.maxmasalayeva.yulduz, erkaboyev ulug\'bek, 1000words, itb 4, Mustaqil ish, 777888, IYoD amaliyot hisobot, 389 22.06.2021

Delta qoida usuli.
Perseptronning rivojlanishi kirishlar va natijalar o'rtasidagi murakkab munosabatlarni o'rganishga qodir bo'lgan foydali ulanish tarmoqlarini yaratish maqsadiga qaratilgan katta qadam bo'ldi. 1950-yillarning oxirida, konnektsionistlar hamjamiyati, ulanish modellarini yanada rivojlantirish uchun zarur bo'lgan narsa o'rganish uchun matematikadan olingan (va shuning uchun potentsial moslashuvchan va kuchli) qoida ekanligini tushundi. 1960-yillarning boshlarida Delta qoidasi [Widrow & Hoff Learning qoidasi yoki Least Mean Square (LMS) qoidasi sifatida ham tanilgan] Widrow va Hoff tomonidan ixtiro qilingan. Bu qoida McClelland & Rumelhart, 1988 tomonidan qabul qilingan perseptronni o'rganish qoidasiga o'xshaydi, lekin ayni paytda perceptron va boshqa erta o'rganish qoidalarida mavjud bo'lmagan matematik foydalilik va nafislik bilan tavsiflanadi.

Delta qoidasi maqsadni faollashtirish (ya'ni, maqsadli chiqish qiymatlari) va olingan faollashtirish o'rtasidagi farqni o'rganishni rivojlantirish uchun ishlatadi. Quyida ko'rib chiqilgan sabablarga ko'ra, chegara faollashtirish funksiyasidan foydalanish (MkKullox-Pitts tarmog'ida ham, perseptronda ham qo'llaniladi) to'xtatiladi va uning o'rniga chiqish neyronining faollashuvini hisoblash uchun mahsulotlarning chiziqli yig'indisi ishlatiladi (muqobil faollashtirish funktsiyalari ham qo'llaniladi). Shunday qilib, faollashtirish funktsiyasi chiziqli faollashtirish funktsiyasi deb ataladi, unda chiqish tugunining faollashuvi tarmoqning tegishli kirish/og'irlik mahsulotlari yig'indisiga teng bo'ladi. Tarmoq ulanishlarining kuchi (ya'ni, og'irliklar qiymatlari) maqsad va haqiqiy chiqish faollashuvi (ya'ni, xato) o'rtasidagi farqni kamaytirish uchun o'rnatiladi. Delta qoidasini o'rnatishga qodir bo'lgan oddiy ikki qatlamli tarmoqning grafik tasviri quyidagi rasmda keltirilgan (Bunday tarmoq faqat bitta chiqish tuguniga ega bo'lish bilan cheklanmaydi):

Tarmoq orqali oldinga tarqalish vaqtida berilgan tugunning chiqishi (faollashishi) uning kirishlari funktsiyasidir. Tugunga kirishlar, ya'ni oddiygina oldingi tugunlarning o'zaro bog'liq og'irliklari bilan chiqishi mahsuloti bo'lib, tugundan jo'natilishdan oldin faollashtirish funktsiyasidan o

'tadi. Shunday qilib, bizda quyidagilar mavjud:

Bu yerda "Sj" oldingi i qatlamdagi og'irliklar va natijalarning barcha tegishli mahsuloti yig'indisi, "wij" i qatlamni j qatlami bilan bog'laydigan tegishli og'irliklarni ifodalaydi, "ai" oldingi i qatlamdagi tugunlarning faollashuvini ifodalaydi, " aj' - qo'l ostidagi tugunning faollashuvi va "f" - faollashtirish funktsiyasi.
2-rasm. Faqat 2 ta og'irlik w1 va w2 bilan xato funksiyasi
Har qanday kiritilgan ma'lumotlar va og'irliklar to'plami uchun xatolik funktsiyasi (shuningdek, xarajat funktsiyasi sifatida ham tanilgan) bilan o'lchanadigan bog'liq xato kattaligi bo'ladi (masalan, Oh, 1997; Yam va Chow, 1997). Delta qoidasi Gradient Descent o'rganish deb nomlanuvchi xato funktsiyasidan foydalanadi, bu "xatoni minimallashtirish uchun og'irlik maydonidagi eng to'g'ridan-to'g'ri yo'l bo'ylab og'irliklarni o'zgartirish" ni o'z ichiga oladi, shuning uchun ma'lum bir vaznga qo'llaniladigan o'zgarish salbiyga mutanosibdir. bu vaznga nisbatan xatoning hosilasi (McClelland va Rumelhart 1988, pp.126-130). Xato/xarajat funktsiyasi odatda chiqish qatlami uchun barcha maqsadli va haqiqiy tugun faollashuvi o'rtasidagi farqlarning kvadratlari yig'indisi sifatida beriladi. Muayyan mashg'ulot namunasi (ya'ni, mashg'ulot ishi) uchun xato quyidagicha ifodalanadi:
Bu yerda 'Ep' o'quv sxemasi bo'yicha umumiy xato, ½ funksiya hosilasini soddalashtirish uchun qo'llaniladigan qiymat, 'n' berilgan o'quv naqsh uchun barcha chiqish tugunlarini, 'tj' sub n chiqishdagi n tugunining maqsadli qiymatini ifodalaydi j qatlami va "aj" sub n bir xil tugun uchun haqiqiy faollashtirishni ifodalaydi. Ushbu xato o'lchovi jozibador, chunki uning hosilasi Delta qoidasini qo'llashda qiymati zarur va oson hisoblab chiqiladi. Mashg'ulot naqshlarining butun to'plamidagi xatolik (ya'ni, bir iteratsiya yoki davr bo'yicha) barcha "Ep" ni yig'ish orqali hisoblanadi:

Bu erda "E" umumiy xato, "p" esa barcha mashg'ulot naqshlarini ifodalaydi. Oldingi tenglamadagi E uchun ekvivalent atama Kvadratlar yig'indisi xatosidir. Ushbu tenglamaning normallashtirilgan versiyasi o'rtacha kvadratik xato (MSE) tenglamasi bilan berilgan:

Bu yerda "P" va "N" mos ravishda o'quv naqshlari va chiqish tugunlarining umumiy soni. Bu avvalgi ikkala tenglamaning xatosi, ya'ni gradient tushishini minimallashtirishga urinish (agar har bir kirish namunasi tarmoqqa yuborilgandan keyin og'irliklar o'zgartirilsa, bu mutlaqo to'g'ri emas (Rumelhart va boshq., 1986: v1, p.324; Reed va Marks, 1999: 57–62-betlar) Berilgan oʻquv namunasidagi xatolik odatda Kvadratlarning umumiy yigʻindisi (“tss”) xatosi bilan ifodalanadi, bu oddiygina barcha chiqish tugunlari va hamma ustidagi barcha kvadratik xatolar yigʻindisiga teng. oʻqitish naqshlari. "Gradient Descent Learning" ni amalga oshirish uchun xatolik funksiyasi hosilasining manfiy qiymati talab qilinadi. Yuqoridagi tenglamamiz hosilasi ("p" berilgan naqsh uchun xatolikni oʻlchaydi), ma'lum bir vaznga nisbatan " wij' sub 'x', zanjir qoidasi bilan quyidagicha beriladi:

Bu yerda 'aj' sub 'z' chiqish qatlamidagi tugunning 'wij' sub x og'irligiga mos keladigan faollashuvidir (pastki yozuvlar tugunlarning yoki og'irliklarning alohida qatlamlariga, 'pastki belgilar' esa individual og'irliklarga va bu qatlamlar ichidagi tugunlar). Bundan kelib chiqadiki:

Va
Shunday qilib, individual mashg'ulot namunasi bo'yicha xatoning hosilasi bizning oldingi tenglamamiz hosilalarining mahsuloti bilan beriladi:

Gradient Descent o'rganish ma'lum bir vazndagi har qanday o'zgarish xato hosilasining manfiyiga mutanosib bo'lishini talab qilganligi sababli, berilgan og'irlikdagi o'zgarish oldingi tenglamamizning manfiyiga mutanosib bo'lishi kerak. Tegishli chiqish tugunining maqsadli va haqiqiy faollashuvi o'rtasidagi farqni d ga almashtirib, o'rganish tezligi epsilonini kiritgan holda, bu tenglama Delta qoidasining yakuniy shaklida qayta yozilishi mumkin:

Bu yerda Eshik faollashtirish funksiyasi o‘rniga chiziqli faollashtirish funksiyasidan foydalanishning sababini endi oqlash mumkin: McColloch va Pitts tarmog‘ini va perseptronni tavsiflovchi chegara faollashtirish funksiyasi 0 va 1 (qiyalik) faollashuvlari orasidagi o‘tishda farqlanmaydi. = cheksizlik) va uning hosilasi funksiyaning qolgan qismiga nisbatan 0 ga teng. Demak, Eshik faollashtirish funksiyasidan Gradient Descent o'rganishda foydalanilmaydi. Holbuki, chiziqli faollashtirish funktsiyasi (yoki differentsial bo'lgan boshqa funktsiya) xatoning hosilasini hisoblash imkonini beradi.
3-rasm. Haqiqiy xato yuzasining uch o'lchovli tasviri (Leverington, 2001)
4-rasm. Xato sirtining ikki o'lchovli tasviri

Download 0.75 Mb.

1 2 3 4

Download 0.75 Mb.