|
Gradient va gradient tushishini hisoblash
|
| bet | 3/11 | | Sana | 14.05.2024 | | Hajmi | 345,07 Kb. | | #232474 |
Bog'liq GRADIENT TUSHISHGradient va gradient tushishini hisoblash
Gradientning tushishi yuqori yo'qotish joyidan boshlanadi va bir necha marta takrorlash orqali optimal vazn konfiguratsiyasini topishga qaratilgan eng kam yo'qotish yo'nalishi bo'yicha qadamlar qo'yadi.
Gradient tushishini amalga oshirish uchun avvalo gradientlarni hisoblash kerak. Tartibda; ... uchun gradientni hisoblash uchun, biz yo'qotish/xarajat funksiyasini bilishimiz kerak. Biz lotinni aniqlash uchun xarajat funksiyasidan foydalanamiz. Hisoblashda hosila faqat ma'lum bir nuqtadagi funktsiyaning qiyaligiga ishora qiladi, shuning uchun biz asosan tepalikning qiyaligini hisoblaymiz. yo'qotish funktsiyasi. Yo'qotish funksiyasi orqali koeffitsientlarni ishga tushirish orqali yo'qotishni aniqlaymiz. Agar biz yo'qotish funktsiyasini "f" bilan ifodalasak, yo'qotishlarni hisoblash tenglamasi quyidagicha bo'lishini aytishimiz mumkin (biz tanlagan xarajat funksiyasi orqali koeffitsientlarni ishlatamiz):
Yo'qotish = f (koeffitsient)
Keyin lotinni hisoblaymiz yoki nishabni aniqlaymiz. Yo'qotishning hosilasini olish bizga koeffitsientlarni moslashtirish uchun tegishli belgini berib, qiyalikning qaysi yo'nalishi yuqoriga yoki pastga ekanligini aytib beradi. Biz tegishli yo'nalishni "delta" sifatida ifodalaymiz.
delta = hosilaviy_funksiya (yo'qotish)
Endi biz qaysi yo'nalish eng past yo'qotish nuqtasiga tushishini aniqladik. Bu shuni anglatadiki, biz neyron tarmoq parametrlaridagi koeffitsientlarni yangilashimiz va yo'qotishni kamaytirishga umid qilamiz. Biz koeffitsientlarni oldingi koeffitsientlar yo'nalishi (delta) va o'zgarish kattaligini nazorat qiluvchi argument (bizning qadamimiz o'lchami) bilan aniqlangan qiymatdagi tegishli o'zgarishlarni chiqarib tashlagan holda yangilaymiz. Yangilanish hajmini boshqaruvchi argument "deb ataladi.o'rganish darajasi” va biz uni “alfa” sifatida ifodalaymiz.
koeffitsient = koeffitsient - (alfa * delta)
Keyin biz ushbu jarayonni tarmoq nolga yaqin bo'lishi kerak bo'lgan eng kam yo'qotish nuqtasi atrofida birlashmaguncha takrorlaymiz.
O'rganish tezligi (alfa) uchun to'g'ri qiymatni tanlash juda muhimdir. Tanlangan o'rganish tezligi juda kichik yoki juda katta bo'lmasligi kerak. Yodda tutingki, biz eng past yo'qotish nuqtasiga yaqinlashganda, qadamlarimiz kichikroq bo'lishi kerak, aks holda biz eng past yo'qotishning haqiqiy nuqtasini bosib o'tamiz va boshqa tomonga o'tamiz. Eng kichik yo'qotish nuqtasi kichik va agar bizning o'zgarish tezligimiz juda katta bo'lsa, xato yana ortib ketishi mumkin. Agar qadam o'lchamlari juda katta bo'lsa, tarmoqning ishlashi eng past yo'qotish nuqtasi atrofida o'sishda davom etadi va uni bir tomondan, keyin esa boshqa tomondan oshib ketadi. Agar bu sodir bo'lsa, tarmoq hech qachon haqiqiy optimal vazn konfiguratsiyasiga yaqinlashmaydi.
Aksincha, agar o'rganish tezligi juda kichik bo'lsa, tarmoq optimal og'irliklarga yaqinlashish uchun juda uzoq vaqt talab qilishi mumkin.
|
| |
