|
2. Neyron tarmoqlar nazariyasining rivojlanishi
|
| bet | 1/4 | | Sana | 21.11.2023 | | Hajmi | 187,76 Kb. | | #102803 |
Bog'liq Neyron tarmoqlarga asoslangan ma\'lumotlarni qazib olish nazariyasining umumiy ko\'rinishi
1.Kirish
Inson faoliyatining turli sohalarining rivojlanishi eng muhim amaliy ma'lumotlarni o'z ichiga olishi mumkin bo'lgan juda ko'p miqdordagi ma'lumotlarni yaratish va to'plash bilan bog'liq. Bu, qoida tariqasida, tuzilmagan bo'lgan turli xil manbalardan bilim olishni avtomatlashtirish muammolarini dolzarblashtiradi. O'z navbatida, kompyuterlar va datchiklarni miniatyuralashtirish va tezligini oshirish ma'lumotlarni qazib olish sohasida zamonaviy ilmiy natijalarni qo'llash chegaralarini sezilarli darajada kengaytirishi mumkin.
Bugungi kunga kelib, neyron tarmoqlari asosida qurilgan algoritmlar kompyuterni ko'rish, nutqni aniqlash, tabiiy tilni qayta ishlash va boshqalar kabi sohalarda munosib natijalarni ko'rsatmoqda. Ushbu sohada, masalan, cheklangan (ehtimol shovqinli) namunalar uchun qaror qabul qilish qoidalarini qurishga asoslangan yangi yondashuvlarni shakllantirish neyron tarmoqlar nazariyasini keyinchalik qo'llashda sezilarli natijalarga erishishga imkon beradi, bu esa o'z navbatida tadqiqotchilarning ushbu sohaga qiziqishi.
Maqolaning maqsadi neyron tarmoqlar bo'yicha mavjud ma'lumotlarni tizimlashtirish, keyingi tadqiqotlar uchun eng ustuvor arxitekturalarni ajratib ko'rsatish va o'qituvchi bilan o'rganish misolida o'rganish naqshini aniqlash muammosini matematik tarzda shakllantirishdir.
Sharh quyidagi tarzda tuzilgan: 1-bo'limda neyron tarmoqlar nazariyasining shakllanishi va rivojlanishiga oid adabiyotlar manbalari tahlil qilinadi. 2-bo'lim dinamik tahlil qilish imkoniyati va olingan natijalarning samaradorligi nuqtai nazaridan naqshni aniqlash sohasida qo'llash uchun alohida qiziqish uyg'otadigan neyron tarmoqlar turlarini ta'kidlaydi. 3-bo'lim neyron tarmoqlarning umumlashtirish qobiliyatini qanday boshqarish kerakligi haqidagi savolga bog'liq bo'lgan statistik o'rganish nazariyasi bilan bog'liq.
2. Neyron tarmoqlar nazariyasining rivojlanishi
Pretsedentlar bo'yicha o'rganishning amaliy muammolarini, birinchi navbatda, tan olish, regressiyani tiklash va prognozlash muammolarini hal qilishda muhim tajriba 1960-yillarning o'rtalarida to'plangan [1, 2, 3, 4, 5, 6, 7, 8]. Algoritmlarning parametrik oilasi shaklida tiklanadigan qaramlik modelini qurishga asoslangan yondashuv katta mashhurlikka erishdi. Raqamli optimallashtirish yordamida model parametrlarining shunday qiymatlari tanlanadi, ular uchun algoritm berilgan pretsedentlar to'plamida eng kam xatolarga yo'l qo'yadi. Ushbu usul empirik riskni minimallashtirish deb ataladi.
Amalda tadqiqotchilar haddan tashqari moslashish muammosiga duch kelishdi. Algoritm qanchalik erkin parametrlarga ega bo'lsa, optimallashtirish orqali kamroq o'quv xatolariga erishish mumkin. Biroq, modelning murakkabligi oshgani sayin, "optimal" algoritmlar aniq ma'lumotlarga juda yaxshi moslasha boshlaydi, bu nafaqat tiklangan bog'liqlikning xususiyatlarini, balki o'quv majmuasining o'lchash xatolarini va modelning o'zi xatosini ham qamrab oladi. . Natijada, algoritmning o'quv namunasidan tashqaridagi ish sifati va umumlashtirish qobiliyati yomonlashadi.
Ushbu kuzatishdan shunday xulosaga keldikki, har qanday muammo uchun modelning optimal murakkabligi mavjud bo'lib, u umumlashtirishning eng yaxshi sifatiga erishadi. Ushbu amaliy tajribaning birinchi rasmiy asoslanishi 60-yillarning oxiri va 70-yillarning boshlarida Vapnik va Chervonenkis tomonidan ishlab chiqilgan qaramlikni tiklashning statistik nazariyasida berilgan [9,10]. Vapnik va Chervonenkisning ishlari hozirgi vaqtda mashinani o'rganishning nazariy bo'limi bo'lgan hisob-kitoblarni o'rganish nazariyasini yaratish uchun boshlang'ich nuqta bo'lib xizmat qildi [11]. Mashinani o'rganish usullari Data Mining bilan chambarchas bog'liq. Ushbu atamaning klassik ta'rifi 1989 yilda ko'rib chiqilayotgan yo'nalishning asoschilaridan biri - Pyatetskiy-Shapiro tomonidan berilgan [12]. Data Mining texnologiyasi ma'lumotlar bazalarida yangi, haqiqiy va potentsial foydali bilimlarni topish jarayonini o'rganadi. Data Mining bir nechta fanlar chorrahasida joylashgan bo'lib, asosiylari ma'lumotlar bazasi tizimlari, statistika va sun'iy intellektdir. Ma'lumotlarni qazib olish ko'plab ma'lumotlarga ega bo'lgan ko'plab sohalarda keng qo'llaniladi: fanda - astronomiya, biologiya, bioinformatika, tibbiyot, fizika va boshqa sohalarda; biznesda - savdo, telekommunikatsiya, bank, sanoat ishlab chiqarishi va boshqalar. Tadqiqotchilar ishlayotgan axborot turlariga nafaqat raqamli ma'lumotlar, balki tobora ortib borayotgan matn, tasvir, video, ovoz va boshqalar kiradi [13].
Neyron tarmoqlarining tarixi 1940-yillardan boshlab, dasturlashtiriladigan elektron qurilmalarning paydo bo'lishi bilan boshlanadi. 1943 yilda Makkullox va Pitts sun'iy neyronning matematik modelini va ushbu neyronlarga qurilgan tarmoq modelini taklif qilishdi. Mualliflar taqdim etilgan tarmoq modelining soddaligiga qaramay, u mantiqiy va arifmetik amallarni bajarishga qodir ekanligini ko'rsatdi [14]. Keyinchalik Hebb qoidasi shakllantirildi, bu uning umumlashtirilgan shaklida neyron tarmoqlarga asoslangan o'quv protseduralarining asosini ifodalaydi. Qoida shuni ko'rsatadiki, ikkala neyron faol bo'lgan taqdirda, ikkita neyron o'rtasidagi aloqa kuchayadi. Xebb o'z qoidasini ilgari surdi, ammo nevrologik tadqiqotlar yo'qligi sababli uni amalda sinab ko'ra olmadi [15]. Sun'iy intellekt sohasidagi amerikalik olim Minsk 1951 yilgi dissertatsiya ishini tayyorlash jarayonida Snark (Stochastic Neural Analog Reinforcement Calculator) qurilmasini loyihalashtirdi, u neyron tarmog'ining og'irligini avtomatik ravishda sozlashi mumkin edi, ammo keyinchalik amaliy qo'llanilmadi.
Xorijiy tadqiqotlar bilan parallel ravishda neyron tarmoqlarning mahalliy nazariyasi rivojlanmoqda. 1956 yilda mashhur sovet matematigi Kolmogorov [16] n oʻzgaruvchining har qanday uzluksiz funksiyasini uchta oʻzgaruvchining uzluksiz funksiyalarining superpozitsiyasi sifatida koʻrsatish mumkinligini isbotladi. Keyingi yili, 1957 yilda uning shogirdi Arnold [17] uchta oʻzgaruvchining har qanday uzluksiz funksiyasi ikki oʻzgaruvchining uzluksiz funksiyalarining superpozitsiyasi sifatida koʻrsatilishi mumkinligini isbotladi. 1987 va 1991 yillarda Hecht-Nielsen yana ikkita maqola chop etdi, unda Arnold-Kolmogorov teoremalari neyron tarmoqlarga nisbatan qayta ishlandi. Natijada, [18] da koʻpgina oʻzgaruvchilarning uzluksiz funksiyasining ifodalanishi n ta kirish signali komponentiga ega boʻlgan ikki qavatli neyron tarmoq, sigmasimon faollashuv funksiyali birinchi (yashirin) qatlamning 2n+1 komponenti va M. noma'lum faollashtirish funktsiyalari bo'lgan ikkinchi qatlamning komponentlari. Shunday qilib, konstruktiv bo'lmagan shaklda neyron tarmoqda etarlicha ixtiyoriy shakldagi funktsiyani ifodalash masalasining echilishi isbotlandi.
1958 yilda Rosenblatt perseptron modeli asosida dunyodagi birinchi Mark I neyrokompyuterini yaratdi. Har biri tarmoqning og‘irliklaridan birini aks ettiruvchi 512 potensiometr bilan jihozlangan Mark I 20x20 fotomatritsa yordamida tub sonlarni taniy oldi. Rosenblatt "Perceptron: miyada ma'lumotni saqlash va tashkil etishning mumkin bo'lgan modeli" [19] maqolasida birinchi natijalar to'g'risida hisobot chop etdi. U 1962 yilda "Neyrodinamika tamoyillari: Perseptronlar va miya mexanizmlari nazariyasi" nashrida idrok va idrok etish jarayonlariga oid nazariya va taxminlarini batafsil bayon qiladi. Kitobda u nafaqat bitta yashirin qatlamli tayyor perseptron modellarini, balki o'zaro bog'liqlik va teskari aloqaga ega ko'p qatlamli perseptronlarni ham ko'rib chiqadi. Kitobda idrok etuvchi konvergentsiya teoremasi ham isbotlangan [20].
Widrow va Hoff 1960 yilda ADALINE (Adaptive Linear Neuron) ni yaratdilar, bu adaptiv o'rganish neyrokompyuteri birinchi marta tijoratlashtirilgan. Delta qoidasidan foydalangan holda o'qitilgan neyrokompyuter analog telefoniyada real vaqt rejimida aks-sado filtrlash uchun ishlatila boshlandi [21]. Dastlabki algoritmga nisbatan delta qoidasiga asoslangan o'rganishning afzalliklaridan biri uning moslashuvchanligi edi: agar haqiqiy chiqish va kerakli yechim o'rtasidagi farq katta bo'lsa, ulanish og'irliklari katta qadam bilan o'zgardi, agar yechim yaqin bo'lsa, kichikroq qadam.
Algoritmning nochorligi kerakli yechim yaqinida sekin yaqinlashish edi. 1961 yilda Shtaynbux zamonaviy neyron assotsiativ xotiraning kashshofi sifatida ko'rib chiqilishi mumkin bo'lgan assotsiativ xotirani texnik qo'llashni taklif qildi [22]. Bundan tashqari, u asab usullari tushunchalarini tavsiflab berdi, ularning imkoniyatlari va cheklovlarini tahlil qildi.
|
| |
