|
Ózbekstan respublikasí joqarí bilimlendiriw, ilim hám innovaciyalar ministrligi
|
| bet | 1/4 | | Sana | 05.12.2023 | | Hajmi | 1,4 Mb. | | #111426 |
Bog'liq Baxitjan Bayniyazov Neural Network training
ÓZBEKSTAN RESPUBLIKASÍ JOQARÍ BILIMLENDIRIW, ILIM HÁM INNOVACIYALAR MINISTRLIGI
BERDAQ ATÍNDAǴÍ
QARAQALPAQ MÁMLEKETLIK UNIVERSITETI
Algoritmlestiriw hám programmalastırıw texnologiyaları kafedrası
Jasalma intellekt hám neyron torlı texnologiyalar páninen
ÓZ BETINSHE JUMÍSÍ
Matematika fakulteti
“Kompyuter ilimleri hám programmalastırıw texnologiyaları”
3-kurs
3k1-topar
Bayniyazov Baxitjan ____________
(imza)
Qabıllaǵan: Qalbaev Allambergen ____________ (imza)
Nókis 2023j
Tema: Jasalma neyron torların úyretiw procesi
Jobası
Neyron tarmaqlar
Parametrlerdi optimallastırıw
Jergilikli kvadratik jaqınlasıw
Gradient maǵlıwmatlarınan paydalanıw
Gradient túsiwin optimallastırıw
Neyron tarmaqlar
Jasalma neyron tarmaqları jasalma intellekt (AI) máselelerin sheshiw ushın isletiledi; olar biologiyalıq neyronlardıń jalǵanıwların túyinler arasındaǵı salmaqlıq retinde modellashtiradilar. Unamlı salmaqlıq qozǵawtıwshı baylanıstı sáwlelendiredi, unamsız bahalar bolsa inhibitiv baylanıslardı ańlatadı. Barlıq kiriwler salmaqlıq menen ózgertiriledi hám jıynaladı. Bul iskerlik sızıqlı birikpe dep ataladı. Aqır-aqıbetde, aktivlestiriw funksiyası shıǵıw amplitudasini basqaradi. Mısalı, qabıl etiletuǵın shıǵıw diapazonı ádetde 0 den 1 ge shekem yamasa -1 hám 1 bolıwı múmkin.
Bul jasalma tarmaqlar prognozlı modellestiriw, maslasıwshı basqarıw hám maǵlıwmatlar kompleksi arqalı oqıtılıwı múmkin bolǵan qosımshalar ushın isletiliwi múmkin. Tájiriybe nátiyjesinde kelip shıǵıs óz-ózin úyreniw quramalı hám bir-birine baylanıslı bolmaǵan maǵlıwmatlar kompleksinen juwmaq shıǵarıwı múmkin bolǵan tarmaqlar ishinde júz bolıwı múmkin.
Biologiyalıq neyron tarmaq ximiyalıq baylanısqan yamasa funktsional baylanısqan neyronlar toparınan ibarat. Bir neyron kóplegen basqa neyronlarǵa jalǵanıwı múmkin hám tarmaqtaǵı neyronlar hám jalǵanıwlardıń ulıwma sanı keń bolıwı múmkin. Sinapslar dep atalatuǵın jalǵanıwlar ádetde aksonlardan dendritlarga payda boladı, biraq dendrodendritik sinapslar hám basqa jalǵanıwlar múmkin. Elektr signalızatsiyasidan tısqarı, neyrotransmitter diffuziyasidan kelip shıǵıs signalızatsiyaning basqa formaları da bar.
Jasalma intellekt, kognitiv modellestiriw hám neyron tarmaqlar biologiyalıq neyron sistemalar maǵlıwmatlardı qayta islew usılınan yoshlangan informaciyanı qayta islew paradigmaları bolıp tabıladı. Jasalma intellekt hám kognitiv modellestiriw biologiyalıq neyron tarmaqlardıń birpara qásiyetlerin eliklewge háreket etedi. Jasalma intellekt salasında programmalıq támiynat agentleri (kompyuter hám video oyınlarda ) yamasa avtonom robotlarni jaratıw ushın jasalma neyron tarmaqlar sóylewdi anıqlaw, suwretti analiz qılıw hám maslasıwshı basqarıw ushın tabıslı qollanildi.
Tariyxıy tárepten, cifrlı kompyuterler fon Neyman modelinen kelip shıqqan hám bir qatar protsessorlar tárepinen yadqa kirisiw arqalı anıq kórsetpelerdi orınlaw arqalı isleydi. Basqa tárepden, neyron tarmaqlardıń kelip shıǵıwı biologiyalıq sistemalarda informaciyanı qayta islewdi modellestiriw háreketlerine tiykarlanadı. Fon Neyman modelinen ayrıqsha bolıp esaplanıw, neyron tarmaǵın esaplaw yad hám qayta islewdi ajratmaydi.
Neyron tarmaq teoriyası miyadagi neyronlardıń qanday islewin jaqsılaw anıqlawǵa xızmet etdi hám jasalma intellektni jaratıw háreketlerine tiykar boldı.
Zamanagóy neyron tarmaqlar ushın dáslepki teoriyalıq tiykar ǵárezsiz túrde Aleksandr Beyn (1873) hám Uilyam Jeyms (1890 ) tárepinen usınıs etilgen. Olardıń jumıslarında pikirler hám dene iskerligi mıy ishindegi neyronlardıń óz-ara tásiri nátiyjesinde júzege kelgen.
Bain ushın hár bir iskerlik málim bir neyronlar kompleksin jumısqa túsiriwge alıp keldi. Xızmetler tákirarlanganda, bul neyronlar arasındaǵı baylanıslar bekkemlandi. Onıń teoriyasına kóre, bul tákirarlaw yaddıń qáliplesiwine alıp keldi. Sol waqıttaǵı ulıwma ilimiy jámiyetshilik Beyn teoriyasına shubha menen qaradi, sebebi ol mıy ishindegi hádden tıs kóp neyron baylanıslardı talap etedi. Endi mıy júdá quramalı ekenligi hám birdey mıy " sımlari" bir neshe máseleler hám kiriwlerdi hal ete alıwı anıq.
Jeyms teoriyası Beynning teoriyasına uqsas edi, biraq ol yadlar hám háreketler miyadagi neyronlar arasından aǵıp shıǵıs elektr aǵısları nátiyjesinde payda bolıwın usınıs etdi. Onıń modeli, elektr toklarınıń aǵımına itibar qaratǵan halda, hár bir yad yamasa háreket ushın individual neyron baylanısların talap etpedi.
Piramidal neyronlar dendritlarining tarmaqlanıw arxitekturasın kompyuter simulyatsiyasi.
Ápiwayı eki sheshimdiń mısalı -óz ishine alǵan klassifikaciyalaw mashqalası
neyron tarmaǵı járdeminde sintetik maǵlıwmatlar eki kiriwge, eki jasırın birlikke iye " tanh" aktivlestiriw funkciyaları hám birlogistik sigma sıyaqlı aktivlikke iye shıǵıw tion funkciyası. Kesilgen kók sızıqlar hár biri ushın z = 0, 5 konturdı kórsetiń jasırın birlikler hám qızıl sızıq kórsetedi tarmaq ushın y = 0, 5 qarar maydanı jumıs. Salıstırıwlaw ushın jasıl sızıq optimal qarar shegarasın ańlatadı ushın isletilingen bólistiriwlerden esaplab shıǵılǵan maǵlıwmatlardı jaratıw.
salmaq vektorları
Simmetriyalar hám sol sebepli hár qanday berilgen salmaq vektorı jıynaq 2 M ekvivalentinen biri boladı.
Tap sonday, biz málim bir jasırın birlik ishine hám sırtına alıp baratuǵın barlıq salmaqlardıń (hám tárepleriniń) bahaların basqa jasırın birlik menen baylanıslı bolǵan salmaqlardıń (hám táreplerdiń) sáykes keletuǵın bahaları menen almastıramız dep oyda sawlelendiriw etiń. Soǵan qaramay, bul tarmaqtıń kiriw-shıǵıw kartalaw funkciyasın ózgeriwsiz qaldıradi, biraq ol salmaq vektorınıń basqa tańlawına sáykes keledi. M jasırın birlikler ushın hár qanday berilgen salmaqlıq vektorı M kompleksine tiyisli boladı! ekvivalent salmaqlıq vektorları bul óz-ara almasınıw simmetriyası menen baylanıslı, M ga sáykes keledi! Jasırın birliklerdiń túrli tártipleri. Sol sebepli tarmaq M! 2 M ulıwma salmaq-keńislik simmetriya koefficiyentine iye boladı. Eki qatlamnan artıq salmaqlıq qatlamı bolǵan tarmaqlar ushın simmetriyanıń ulıwma dárejesi bunday faktorlardıń ónimi menen beriledi, bir jasırın birliklerdiń hár bir qatlamı ushın. Málim bolıwısha, bul faktorlar salmaqlıq keńisliklerdegi barlıq simmetriyalardı esapqa aladı
(salmaq bahaları ushın anıq tańlawlar sebepli júzege keliwi múmkin bolǵan tosınarlı simmetriyalar bunnan tısqarı ). Bunnan tısqarı, bul simmetriyalardıń bar ekenligi " tanh" funkciyasınıń ayriqsha ózgesheligi emes, bálki aktivlestiriw funkciyalarınıń keń sheńberine tiyisli bolıp tabıladı (Kurkov´a hám Kainen, 1994). Kóplegen jaǵdaylarda, salmaq keńisliksidagi bul simmetriyalar júdá kem ámeliy áhmiyetke iye, biraq 5. 7-bólimde biz olardı esapqa alıwımız kerek bolǵan jaǵdayǵa dus kelemiz.
Házirge shekem biz neyron tarmaqlardı parametrik sızıqlı bolmaǵan funksiyalardıń ulıwma klası retinde kirisiw ózgeriwshilerdiń x vektorınan shıǵıw ózgeriwshileri y vektorına shekem kórip shıqtıq. Tarmaq parametrlerin anıqlaw mashqalasına ápiwayı jantasıw 1. 1-bólimde kóp atlı iymek sızıqtı maslastırıw talqılawı menen uqsawlıq qılıw bolıp tabıladı hám sol sebepli kvadratlar jıyındısı qáte funksiyasın minimallastırıw ushın. {xn} kirisiw vektorları kompleksin óz ishine alǵan oqıw kompleksi berilgen, bul erda n = 1,.. ., N, sáykes keletuǵın maqsetli vektorlar kompleksi menen birgelikte {tn}, biz qáte funksiyasın minimallastıramiz
Biraq, birinshi náwbette tarmaq nátiyjelerin itimallıq menen anıqlama beriw arqalı biz tarmaqtı oqıtıwdıń ulıwma kórinisin usınıwımız múmkin. Biz 1. 5. 4-bólimde itimallı boljawlardan paydalanıwdıń kóplegen abzallıqların kórip shıqtıq. Bul erda ol bizge shıǵıw birliginiń sızıqlı emesligin tańlaw hám qáte funksiyasın tańlaw ushın da anıqlaw motivatsiya beredi. Biz regressiya máselelerin talqılawdan baslaymız hám házirshe biz hár qanday real bahanı qabıl ete alatuǵın birden-bir maqsetli ózgeriwshi tni kórip shıǵamız. 1. 2. 5 hám 3. 1-bólimler degi dodalawlardan keyin, biz t dıń neyron tarmaǵınıń shıǵıwı menen berilgen x-ga baylanıslı ortasha Gauss bólistiriwine iye dep shama menen oylaymız, sol sebepli
Bul erda β - Gauss shawqımınıń anıqlıǵı (teris dispersiya). Álbette, bul azmaz sheklewshi shama hám 5. 6 -bólimde biz ulıwma shártli bólistiriwlerge ruxsat beriw ushın bul jantasıwdı qanday keńeytiwdi kórip shıǵamız. (5.12) tárepinen berilgen shártli bólistiriw ushın identifikator retinde shıǵıw birligin aktivlestiriw funksiyasın alıw jetkilikli, sebebi bunday tarmaq x den y ge shekem bolǵan hár qanday úzliksiz funkciyanı jaqınlashtirishi múmkin. N ta ǵárezsiz, birdey bólistirilgen gúzetisler kompleksi berilgen X = {x1,.. ., xn }, sáykes keletuǵın maqset bahaları menen birge t = {t1,.. ., tn }, biz sáykes keletuǵın itimallıq funksiyasın qurıwımız múmkin
Teris logarifmdi alıp, qáte funksiyasın alamız
|
| |
