|
Jizzax filiali amaliy matematika fakulteti «kompyuter ilmlari va dasturlashtirish»
|
| bet | 1/5 | | Sana | 20.05.2024 | | Hajmi | 0,73 Mb. | | #245849 |
Bog'liq suniy mustaqil ish.docx
OʻZBEKISTON RESPUBLIKASI OLIY VA O‘RTA MAXSUS TA’LIM VAZIRLIGI
MIRZO ULUG‘BEK NOMIDAGI MILLIY UNIVERSITETININIG
JIZZAX FILIALI
AMALIY MATEMATIKA FAKULTETI
«KOMPYUTER ILMLARI VA DASTURLASHTIRISH» kafedrasi
“SUN’IY INTELLEKT” FANIDAN
MUSTAQIL ISH
Mavzu: “Sun’iy neyron to’rlarini o’rgatish.”
Bajardi: “KIDT” yoʻnalishi 3-kurs 10,21-guruh talabasi
Pardaboyev Narzulla
Tekshirdi:Ergashev. S
Reja:
O‘rgatish algoritmlari.
Sun'iy neyron to‘rini o‘qtuvchili va o‘qtuvchisiz o‘rgatish.
O‘rgatuvchi tanlama.
Hatolik funksiyalari.
To‘rni gradiyentli otimizasiyasi.
O‘qitish davri.
O‘rgatish algoritmlari.
Annotatsiya: Optimallashtirish algoritmi (yoki optimallashtiruvchi) o'quv jarayonini neyron tarmoqda amalga oshiradi. Turli xil optimallashtirish algoritmlari mavjud. Ular xotira talablari, ishlov berish tezligi va raqamli aniqlik jihatidan farq qiladi. Ushbu maqolada birinchi navbatda neyron tarmoqlar uchun o'rganish muammosini shakllantiradi. Keyin, u ba'zi muhim optimallashtirish algoritmlarini tavsiflaydi.
Kalit soʻzlar: Oʻrganish muammolari, Gradient tushishi, Nyuton usuli, Konjugat gradienti. Kirish: Ta'lim muammosi yo'qotish indeksini minimallashtirish sifatida tuzilgan, 𝑓. Bu ma'lumotlar to'plamida neyron tarmog'ining ishlashini o'lchaydigan funksiya. Yo'qotish indeksi, odatda, xato va tartibga solish shartlarini o'z ichiga oladi. Xato atamasi neyron tarmoq ma'lumotlar to'plamiga qanday mos kelishini baholaydi. Regulyatsiya atamasi modelning murakkabligini nazorat qilish orqali ortiqcha moslamani oldini oladi. Yo'qotish funktsiyasi neyron tarmog'idagi adaptativ parametrlarga (bias va sinaptik og'irliklar) bog'liq. Biz ularni bitta n o'lchovli vazn vektoriga guruhlashimiz mumkin 𝐼𝑛. Keyingi rasm yo'qotish funktsiyasini ifodalaydi 𝑓(𝐼𝑛).
Ko'rib turganimizdek, yo'qotish funktsiyasining minimumi nuqtada sodir bo'ladi
𝐼𝑛 ∗ . Har qanday nuqtada 𝐴, biz yo'qotish funktsiyasining birinchi va ikkinchi hosilalarini hisoblashimiz mumkin. Gradient vektori birinchi hosilalarni guruhlaydi
Ko'p o'zgaruvchilarning uzluksiz va differentsial funksiyalarini minimallashtirish muammosi keng o'rganiladi. Biz neyron tarmoqlarni o'qitishda ushbu muammoga ko'plab an'anaviy yondashuvlarni bevosita qo'llashimiz mumkin. Bir o'lchovli optimallashtirish:
Yo'qotish funktsiyasi ko'plab parametrlarga bog'liq bo'lsa-da, bu erda bir o'lchovli optimallashtirish usullari katta ahamiyatga ega. Darhaqiqat, ular neyron tarmog'ini o'qitish jarayonida juda tez-tez ishlatiladi . Ko'pgina o'quv algoritmlari birinchi navbatda mashg'ulot yo'nalishini hisoblab chiqadi 𝑑 va keyin mashg'ulot tezligi 𝑡ℎ𝑒 bu yo'nalishdagi yo'qotishlarni minimallashtiradi, 𝑓(𝑡ℎ𝑒). Keyingi rasm ushbu bir o'lchovli funktsiyani ko'rsatadi.
Ballar 𝜂1 va 𝜂2 minimalini o'z ichiga olgan intervalni aniqlang 𝑓,𝜂 ∗ .
Shu munosabat bilan bir o'lchovli optimallashtirish usullari minimal bir o'lchovli funktsiyalarni qidiradi. Eng ko'p ishlatiladigan ba'zilari oltin qism va Brent usuli. Har ikkisi ham tashqi nuqtalar orasidagi masofa belgilangan tolerantlikdan kamroq bo'lguncha minimal qavsni kamaytiradi.
Ko'p o'lchovli optimallashtirish: Neyron tarmoqlarni o'rganish muammosi parametr vektorini qidirish sifatida tuzilgan 𝑤 ∗ bunda yo'qotish funktsiyasi 𝑓 minimal qiymatni oladi. Zarur shart shuni ko'rsatadiki, agar neyron tarmoq yo'qotish funktsiyasining minimal darajasida bo'lsa, u holda gradient nol vektor hisoblanadi. Yo'qotish funktsiyasi, umuman olganda, parametrlarning chiziqli bo'lmagan funktsiyasidir. Binobarin, minimal uchun yopiq o'qitish algoritmlarini topish mumkin emas. Buning o'rniga biz qadamlar ketma-ketligidan iborat parametrlar maydoni bo'ylab qidiruvni ko'rib chiqamiz. Har bir bosqichda neyron tarmoq parametrlarini sozlash orqali yo'qotish kamayadi. Shunday qilib, neyron tarmoqni o'rgatish uchun biz ba'zi parametr vektoridan boshlaymiz (ko'pincha tasodifiy tanlanadi). Keyin algoritmning har bir iteratsiyasida yo'qotish funktsiyasi kamayishi uchun parametrlar ketma-ketligini hosil qilamiz. Ikki bosqich o'rtasidagi yo'qotishning o'zgarishi yo'qotishning kamayishi deb ataladi. Belgilangan shart yoki to'xtatish mezoni bajarilganda o'qitish algoritmi to'xtaydi.
Gradient tushishi (GD):
Gradientning tushishi eng oddiy mashq algoritmidir. Bu gradient vektoridan ma'lumot talab qiladi va shuning uchun u birinchi tartibli usuldir. 𝑓(𝑤 (𝑖) ) = 𝑓 (𝑖) va 𝛻𝑓(𝑤 (𝑖) ) = 𝑔 (𝑖) Usul bir nuqtadan boshlanadi 𝑤 (0) va, to'xtash mezoni qondirilgunga qadar, dan harakatlanadi 𝑤 (𝑖) uchun 𝑤 (𝑖+1) ta'lim yo'nalishida 𝑑 (𝑖) = −𝑔 (𝑖) Shunday qilib, gradient tushish usuli quyidagi tarzda takrorlanadi:
Parametr 𝜂 trening tezligi hisoblanadi. Ushbu qiymat qat'iy belgilangan qiymatga o'rnatilishi yoki har bir bosqichda o'quv yo'nalishi bo'yicha bir o'lchovli optimallashtirish orqali topilishi mumkin. Har bir keyingi bosqichda chiziqni minimallashtirish yo'li bilan olingan mashq tezligi uchun optimal qiymat odatda afzaldir. Biroq, ko'pgina dasturiy vositalar hali ham mashg'ulot tezligi uchun faqat belgilangan qiymatdan foydalanadi. Keyingi rasm - gradient tushishi bilan mashg'ulot jarayonining faoliyat diagrammasi. Ko'rib turganimizdek, algoritm ikki bosqichda parametrlarni yaxshilaydi: Birinchidan, u gradient tushishini o'qitish yo'nalishini hisoblaydi. Ikkinchidan, u mos o'quv tezligini topadi.
Gradientni tushirish bo'yicha o'qitish algoritmining jiddiy kamchiliklari bor, chunki uzun, tor vodiy tuzilmalariga ega bo'lgan funktsiyalar uchun ko'p iteratsiyalarni talab qiladi. Darhaqiqat, pastga tushish gradienti yo'qotish funktsiyasi eng tez pasayadigan yo'nalishdir, ammo bu eng tez yaqinlashuvni keltirib chiqarmaydi. Quyidagi rasmda bu muammo ko'rsatilgan.
Minglab parametrlarga ega massiv neyron tarmoqlarimiz mavjud bo'lganda gradient tushish tavsiya etiladigan algoritmdir. Buning sababi shundaki, bu usul faqat gradient vektorini (o'lcham 𝑛) va u Hessian matritsasini saqlamaydi (hajmi 𝑛 2 ).
Nyuton usuli (NM): Nyuton usuli ikkinchi tartibli algoritmdir, chunki u Gess matritsasidan foydalanadi. Ushbu usulning maqsadi yo'qotish funktsiyasining ikkinchi hosilalaridan foydalangan holda yaxshiroq ta'lim yo'nalishlarini topishdir.
|
| |
