|
Mashinani o’qitish tili fanidan
|
| bet | 4/11 | | Sana | 14.05.2024 | | Hajmi | 345,07 Kb. | | #232474 |
Bog'liq GRADIENT TUSHISHGradient tushish turlari
Endi biz gradient tushishning umuman qanday ishlashini tushunganimizdan so'ng, keling, bir nechta farqlarni ko'rib chiqaylik gradient tushish turlari.
To'plamli gradient tushishi: Bu gradient tushish shakli koeffitsientlarni yangilashdan oldin barcha o'quv namunalari orqali o'tadi. Gradient tushishining bu turi gradient tushishining hisoblash jihatidan eng samarali shakli bo‘lishi mumkin, chunki og‘irliklar faqat butun partiya qayta ishlangandan so‘ng yangilanadi, ya’ni yangilanishlar soni kamroq bo‘ladi. Biroq, agar ma'lumotlar to'plami ko'p sonli o'quv misollarini o'z ichiga olsa, u holda gradientning to'liq tushishi mashg'ulotni uzoq vaqt talab qilishi mumkin.
Stoxastik gradient tushishi: Stoxastik gradient tushishida gradient tushishining har bir iteratsiyasi va parametrlarni yangilash uchun faqat bitta o‘quv misoli qayta ishlanadi. Bu har bir ta'lim misolida sodir bo'ladi. Parametrlarni yangilashdan oldin faqat bitta ta'lim misoli qayta ishlanganligi sababli, u yangilanishlar tezroq amalga oshirilganligi sababli, Ommaviy Gradient Descentga qaraganda tezroq birlashadi. Biroq, jarayon o'quv to'plamidagi har bir element bo'yicha amalga oshirilishi kerakligi sababli, agar ma'lumotlar to'plami katta bo'lsa, uni yakunlash juda uzoq vaqt talab qilishi mumkin va shuning uchun afzal bo'lsa, boshqa gradient tushish turlaridan birini ishlatish mumkin.
Mini-to'plamli gradient tushishi: Mini-to'plamli gradient tushishi butun o'quv ma'lumotlar to'plamini kichik bo'limlarga bo'lish orqali ishlaydi. U tarmoq orqali ishlaydigan kichikroq mini-to'plamlarni yaratadi va xatoni hisoblash uchun mini-to'plamdan foydalanilganda koeffitsientlar yangilanadi. Mini-to'plamli gradient tushishi stokastik gradient tushishi va to'plamli gradient tushishi o'rtasida o'rta nuqtaga ega. Model Batch Gradient Descent holatiga qaraganda tez-tez yangilanadi, bu modelning optimal parametrlari bo'yicha biroz tezroq va mustahkamroq konvergentsiyani anglatadi. Shuningdek, u Stokastik Gradient Descentga qaraganda hisoblash jihatidan samaraliroq.
|
| |
