Toshkent axborot texnologiyalari universiteti urganch filiali kompyuter injineringi fakulteti

Download 117,37 Kb.
bet	6/8
Sana	22.05.2024
Hajmi	117,37 Kb.
	#250384

1 2 3 4 5 6 7 8

Bog'liq
Vaisbek Davlatov Mustaqil ishi ishi

Parametrlar quyidagicha yangilanadi

RMSProp

RMSProp (Root Mean Square Propagation) - har bir parametr uchun o'quv ko'rsatkichini moslashtirish usuli. Fikr og'irliklar uchun o'quv ko'rsatkichini o'sha og'irlik uchun so'nggi gradientlarning harakatlanuvchi o'rtacha ko'rsatkichlari bo'yicha bo'lishdir. Shunday qilib, birinchi harakatlanuvchi o'rtacha standart bo'yicha xisoblanadi

𝑣
(
𝑤

,
𝑡
)
:=
γ
𝑣
(
𝑤
,
𝑡
−
1
)
+
(
1
−
γ
)
(
∇
𝑄
𝑖
(
𝑤
)
)
2
{ v(w,t):=\gamma v(w,t-1)+(1-\gamma )(\nabla Q_{i}(w)^{2}}
Qayerda
γ{ \gamma } — unutish koeffitsienti.

Parametrlar quyidagicha yangilanadi

𝑤
:=

𝑤
−
η
𝑣
(
𝑤
,
𝑡
)
∇
𝑄
𝑖
(
𝑤
)
{ w:=w-{\frac {\eta }{\sqrt {v(w,t)}}}\nabla Q_{i}(w)}
RMSProp turli dasturlarda o'quv ko'rsatkichlarining yaxshi moslashuvini ko'rsatdi. RMSPropni Rpropning umumiylashuvi sifatida ko'rish mumkin. Ushbu usul faqat to'liq paketlar bilan emas, balki miniketlar bilan ishlashga qodir [25].
Odam
Adam[26] (Adaptive Moment Estimation uchun qisqa) — RMSProp optimizerining yangilanishi. Ushbu optimallashtirish algoritmida ham gradient, ham gradient ikkinchi momentlarning harakatlanuvchi o'rtacha ko'rsatkichlari qo'llanadi. Agar parametrlar berilgan bo'lsa
𝑤
(
𝑡
)
{ w^{(t)}}, va yo'qotish funksiyasi
𝐿
(
𝑡
)
{ L^{(t)}}, где
𝑡
{ t} joriy iteratsiya indeksini aks ettiradi (hisobot bilan boshlanadi
0
{ 0}), Odam algoritmi bo'yicha parametr qayta hisoblash formulalar bilan belgilangan

𝑚
𝑤
(

𝑡
+
1
)
←
β
1
𝑚
𝑤
(
𝑡
)
+
(
1
−
β
1
)
∇
𝑤
𝐿
(
𝑡
)
{ m_{w}^{(t+1)}\leftarrow \beta _{1}m_{w}^{(t)}+(1-\beta _{1})\nabla _{w}L^{(t)}}
𝑣
𝑤
(
𝑡
+
1
)
←
β
2
𝑣
𝑤
(
𝑡
)
+
(
1
−
β
2
)
(
∇
𝑤
𝐿
(
𝑡
)
)
2
{ v_{w}^{(t+1)}\leftarrow \beta _{2}v_{w}^(t)+(1-\beta _{2})(\nabla _{w}L^{(t)})^{2}}
𝑚
^
𝑤
=
𝑚
𝑤
(
𝑡
+
1
)
1
−
β
1
𝑡
+
1
{ {\hat {m}}_{w}={\frac {m_{w}^(t+1)}}{1-\beta _{1}^{t+1}}}
𝑣
^
𝑤
=
𝑣
𝑤
(
𝑡
+
1
)
1
−
β
2
𝑡
+
1
{ {\hat {v}}_{w}={\frac {v_{w}^(t+1)}}{1-\beta _{2}^{t+1}}}
𝑤
(
𝑡
+
1
)
←
𝑤
(
𝑡
)
−
η
𝑚
^
𝑤
𝑣
^
𝑤
+
ε{ w^{(t+1)}\leftarrow w^{(t)}-\eta {\frac {{\hat {m}}_{w}}{{\sqrt {{\hat {v}}_{w}}}}+\epsilon }}}
Qayerda
ε{ \epsilon } 0 ga bo'linishni oldini olish uchun ishlatiladigan kichik qo'shimcha bo'lib, va
β
1
{ \beta _{1}} iga
β
2
{ \beta _{2}} mos ravishda gradientlar va gradient sekund momentlari uchun koeffitsientlarni unutmoqda. Kvadrat va kvadrat ildiz element bo'yicha hisoblangan.

Download 117,37 Kb.

1 2 3 4 5 6 7 8

Download 117,37 Kb.