|
Gradient maǵlıwmatlarınan paydalanıw
|
| bet | 4/4 | | Sana | 05.12.2023 | | Hajmi | 1,4 Mb. | | #111426 |
Bog'liq Baxitjan Bayniyazov Neural Network trainingGradient maǵlıwmatlarınan paydalanıw
5. 3-bólimde kórip turǵanimizdek, qáte funksiyasınıń gradientini keyin basıp tarqalıw procedurası járdeminde nátiyjeli bahalaw múmkin. Bul gradient maǵlıwmatlarınan paydalanıw qáte funkciyasınıń minimal ma`nisin jaylastırıw tezligin sezilerli dárejede jaqsılawǵa alıp keliwi múmkin. Ne ushın bunday bolǵanın tómendegishe kóriwimiz múmkin. (5. 28) de berilgen qáte funksiyaǵa kvadratik jaqınlasıwda qáte maydanı b hám H muǵdarlar menen belgilenedi, olar jámi W (W + 3) /2 ǵárezsiz elementlerdi óz ishine aladı (sebebi H matritsasi simmetrik bolıp tabıladı)., bul erda W - w dıń ólshewliligi (yaǵnıy, tarmaqtaǵı adaptiv parametrlerdiń ulıwma sanı ). Bul kvadratik jaqınlasıwdıń minimal jaylasıwı sol sebepli O (W 2) parametrlerine baylanıslı hám biz O (W 2) ǵárezsiz maǵlıwmattı jıynaqagunimizcha, minimaldı anıqlay alıwımızdı kutmasligimiz kerek. Eger biz etpesak
gradient maǵlıwmatlarınan paydalanǵan halda, biz O (W 2) funkciyasın bahalawdı ámelge asırıwımız kerek, olardıń hár biri O (W) qádemlerin talap etedi. Sonday etip, bunday jantasıw járdeminde minimaldı tabıw ushın zárúr bolǵan esaplaw háreketleri O (W 3) boladı. Endi bunı gradient maǵlıwmatlarınan paydalanatuǵın algoritm menen salıstırıń. ∇E dıń hár bir bahası vt maǵlıwmattı alıp kelgenligi sebepli, biz O (W) gradient bahalawlarında funkciyanıń minimalın tabıwǵa úmitleniwimiz múmkin. Kórip turǵanimizdek, qáteniń keyin basıp tarqalıwın qóllaw arqalı hár bir bunday bahalaw tek O (W ) basqıshların aladı hám sol sebepli minimaldı endi O (W 2) basqıshlarında tabıw múmkin. Usınıń sebepinen, gradient maǵlıwmatlarınan paydalanıw neyron tarmaqlardı oqıtıw ushın ámeliy algoritmlardıń tiykarın quraydı.
Gradient túsiwin optimallastırıw
Gradient maǵlıwmatlarınan paydalanıwdıń eń ápiwayı usılı - bul unamsız gradient baǵdarı boyınsha kishi bir qádemdi óz ishine alatuǵın salmaq jańalanıwın tańlaw bolıp tabıladı.
Bul erda ē > 0 parametri úyreniw tezligi dep ataladı. Hár bir jańalanishdan keyin, gradient jańa salmaq vektorı ushın qayta bahalanadı hám process tákirarlanadı. Itibar beriń, qáte funksiyası oqıw kompleksine salıstırǵanda anıqlanadı hám sol sebepli hár bir qádem ∇E ni bahalaw ushın pútkil oqıw kompleksin qayta islewdi talap etedi. Bir waqtıniń ózinde pútkil maǵlıwmatlar kompleksinen paydalanatuǵın texnikaler ǵalabalıq usıllar dep ataladı. Hár bir qádemde salmaqlıq vektorı qáte funkciyasınıń eń úlken tómenlew tezligine qaray háreketlenedi hám sol sebepli bul jantasıw gradient túsiw yamasa eń tik túsiw dep ataladı. Eger bunday jantasıw intuitiv túrde aqılǵa say kórinisi múmkin bolsa -de, Bishop hám Nabney (2008) de talqılaw etilgen sebeplerge kóre, tiykarınan ol jaman algoritm bolıp shıǵadı.
Jıynaqtı optimallastırıw ushın konjugat gradientlar hám kvazi-Nyuton usılları sıyaqlı natiyjelilew usıllar ámeldegi bolıp, olar ápiwayı gradient túsiwine qaraǵanda talay bekkemlew hám tezirek bolıp tabıladı (Gill hám boshq., 1981; Fletcher, 1987; Nocedal hám Rayt, 1999 ).. Gradient túsiwden ayrıqsha bolıp esaplanıw, bul algoritmlar, eger salmaqlıq vektorı jergilikli yamasa global minimumǵa jetpegen bolsa, qáte funksiyası hár bir iteratsiyada mudamı azayıp barıwı ózgeshelikine iye. Etarlicha jaqsı minimumni tabıw ushın gradientga tiykarlanǵan algoritmdı hár sapar basqa tosınarlı saylanǵan baslanǵısh noqattan paydalanǵan halda bir neshe ret jumısqa túsiriw hám nátiyjede alınǵan islewdi ǵárezsiz tekseriw kompleksinde salıstırıw kerek bolıwı múmkin.
Biraq, úlken maǵlıwmatlar jıynaqlarında neyron tarmaqlardı oqıtıw ushın ámeliyatda paydalı bolǵan gradient túsiwdiń onlayn versiyası ámeldegi (Le Cun hám boshq., 1989 ). Ǵárezsiz baqlawlar kompleksiniń maksimal múmkinshiligına tiykarlanǵan qáte funkciyaları hár bir maǵlıwmat noqatı ushın birden shártler jıyındısın óz ishine aladı.
Onlayn gradient túsiwi, sonıń menen birge, izbe-iz gradient túsiwi yamasa stokastik gradient túsiwi retinde de belgili, bir waqtıniń ózinde bir maǵlıwmat noqatı tiykarında salmaq vektorın jańalaydı, sol sebepli
Juwmaq
Men bul ózbetinshe arqalı Jasalma neyron torların úyretiw procesin haqqındaǵı bilimlerdi bekkemledim ham kóplegen maǵluwmatlarǵa iye boldım. Jasalma neyron torların úyretiw procesinde qosımsha retinde Neyron tarmaqlar, Parametrlerdi optimallastırıw, Gradient maǵlıwmatlarınan paydalanıw,Gradient túsiwin optimallastırıw ham taǵı basqada Jasalma neyron torların úyretiw procesi haqqindaǵı bilimlerdida ózlestirdim
Paydalanılǵan adebiyatlar ham saytlar:
Book:PATTERN RECOGNITION AND MACHINE LEARNING(CHRISTOPHER M. BISHOP)
https://www.slideshare.net/ErgashevSirojiddin/suniy-neyron-modeli-256011348
https://www.sciencedirect.com/science/article/abs/pii/B9780128205433000158
https://en.wikipedia.org/wiki/Neural_network
|
| |
