|
Mashinani o’qitish tili fanidan
|
| bet | 2/11 | | Sana | 14.05.2024 | | Hajmi | 345,07 Kb. | | #232474 |
Bog'liq GRADIENT TUSHISHGradientlar nima?
Aytaylik, neyron tarmoqning xatosi miqdorini ifodalovchi grafik mavjud. Grafikning pastki qismi eng past xato nuqtalarini ifodalaydi, grafikning yuqori qismida esa xato eng yuqori bo'ladi. Biz grafikning yuqorisidan pastga siljishni xohlaymiz. Gradient - bu xato va neyron tarmog'ining og'irliklari o'rtasidagi bog'liqlikni aniqlashning bir usuli. Bu ikki narsa o'rtasidagi munosabat nishab sifatida grafik qilish mumkin, noto'g'ri og'irliklar ko'proq xatoga olib keladi. Nishab/gradientning keskinligi model qanchalik tez o'rganilayotganini ko'rsatadi.
Nishabning keskinligi katta xatoliklarning kamaytirilishini va modelning tez o'rganilayotganini anglatadi, agar qiyalik nolga teng bo'lsa, model platoda va o'rganmaydi. Bizning modelimiz uchun gradient, harakat yo'nalishini (tarmoq parametrlarini o'zgartirish) hisoblab, qiyalikdan kamroq xatoga qarab harakat qilishimiz mumkin.
Keling, metaforani biroz o'zgartirib, bir qator tepaliklar va vodiylarni tasavvur qilaylik. Biz tepalikning pastki qismiga tushib, vodiyning eng kam yo'qotishni ifodalovchi qismini topmoqchimiz. Tepalikning tepasidan boshlaganimizda, tepalikdan katta qadamlar tashlab, vodiyning eng past nuqtasiga qarab ketayotganimizga ishonch hosil qilishimiz mumkin.
Biroq, biz vodiyning eng past nuqtasiga yaqinlashganda, qadamlarimiz kichikroq bo'lishi kerak, aks holda biz haqiqiy eng past nuqtani bosib o'tishimiz mumkin. Xuddi shunday, tarmoqning og'irliklarini sozlashda sozlashlar uni eng kam yo'qotish nuqtasidan uzoqlashtirishi mumkin va shuning uchun vaqt o'tishi bilan sozlashlar kichikroq bo'lishi kerak. Tepalikdan eng past yo'qotish nuqtasiga tushish kontekstida gradient - bu biz borishimiz kerak bo'lgan yo'lni va qadamlarimiz qanchalik katta bo'lishi kerakligini tavsiflovchi vektor/ko'rsatmalar.
Endi biz bilamizki, gradientlar qaysi yo'nalishda harakat qilishimiz kerakligi (qaysi koeffitsientlar yangilanishi kerak) va biz qanchalik katta qadamlar qo'yishimiz kerakligi (koeffitsientlar qanchalik yangilanishi kerak) ko'rsatmalari bo'lib, biz gradient qanday hisoblanganligini o'rganishimiz mumkin.
|
| |
