Muhammad al-Xorazmiy nomidagi Toshkent Axborot Texnologiyalari Universiteti Yo’nalish: «kompyuter injinerligi» mavzu: Mа’lumotlarni intellektual tahlili uchun Regressiya masalalari va algoritmlar Gurux: 0120-21-Gurux

Download 1.41 Mb.
bet	1/3
Sana	24.10.2023
Hajmi	1.41 Mb.
	#90284

1 2 3

Bog'liq
0120-21 Turg\'unov SH
xudo xoxlasa tushadi99%, 3-labarotoriya ishi Saralash usul va algoritmlarini tadqiq qilis, cmd buyruqlari, Incremental model nima, 1matematik, word sAM 1 savol, Документ Microsoft Word (4), Ma\'ruzalar (2), ЛАБОРАТОРНАЯ РАБОТА N1, Dasturlash 2, Ariza, Qalandarova Gulshoda, 1648631455, 1650692784, 1651669892 (2)

Muhammad al-Xorazmiy nomidagi Toshkent Axborot Texnologiyalari Universiteti

Yo’nalish: «KOMPYUTER INJINERLIGI»

MAVZU: Mа’lumotlarni intellektual tahlili uchun Regressiya masalalari va algoritmlar

Gurux: 0120-21-Gurux
F.I.O: Sh.T.Turg’unov

Toshkent-2023
Kompyuter injinerligi
0120-21-Gurux
Turg’unov Sherzodbek To’lqinovich

MAVZU: Mа’lumotlarni intellektual tahlili uchun Regressiya masalalari va algoritmlar

REJA:

Matnlarni intellektual taxlil qilish masalalari.
Mа’lumotlarni intellektual tahlili va uning sohalar bo’yicha qo’llanilishi.
Regressiya masalalari va algoritmlar.

1. Keyingi yillarda lingvistik tahlil va matnni qayta ishlash sohasida ko‘plagan tadqiqotlar olib borilib [1], bunda statistik usullar yordamida muallifning uslubini o‘rganish yoki axborot tizimlarida yangiliklar yoki blog materiallari reytingini o‘rganish, foydalanuvchi xatti-harakatlarini modellashtirish tadqiq qilib kelinmoqda [2]. Bugungi kunda Internet va boshqa manbalarda axborotlar keskin o‘sishda davom etmoqda va bu axborotlarning asosiy qismi matn ko‘rinishida shakllantirilmoqda. Ushbu katta xajmdagi ma’lumotlardan foydalisini ajratib olish uchun maxsus usul va mexanizlar zaruriyati kelib chiqadi [3]. Matndan belgilarni ajratib olish (Feature Extraction) – Data Mining sohasining keng uchrashadigan masalasi bo‘lib, aynan belgilarni generatsiya qilish bosqichida qo‘llaniladi. Shundan kelib chiqib, bugungi kunda matnlarni intellektual tahlil qilish Text Mining nomini oldi. Bu holatda Feature Extraction – NLP (NLP, Natural Language Processing – tabiiy tilga ishlov berish) sohosiga tegishli bo‘lib, sun’iy intellekt va matematik lingvistikaning alohida sohasi sanaladi. Bugungi kunda NLP ko‘lami nutqni aniqlash va matnni tarjima qilishdan boshlanib, bashoratli matn kiritish va mashina va odam o‘rtasida aloqa o‘rnatishgacha qo‘llaniladi. Bunda mashinani o‘qitish (Machine Learning) yordamida matn ma’lumotlarini tanib olish va tahlil qilish vazifalari hal qilinadi hamda matndan belgilarni ajratib olish va data scientist 450 mutaxassis ma’lumotlarni tayyorlashning (Data Preparation) ushbu bosqichini qanday amalga oshirishi tahlil qilinadi. Matndan belgilarni ajratib olishda dastlab uni ML (Machine Learning) algoritmlari yordamida ishlov berishga yaroqli ko‘rinishga keltirish zarurati kelib chiqadi. Buni amalga oshirish uchun matnlarni bir nechta bosqichda qayta ishlash zarurati kelib chiqadi: ▪ Tokenlash – matnning uzun qismlarini kichikroq qismlarga bo‘lish (paragraflar, jumlalar, so‘zlar). TextMingda tokenlash matnni qayta ishlashning birinchi sanaladi. ▪ Normallashtirish – matnni «tozalangan» shaklga keltirish, ya’ni, so‘zlarning yagona reestri, tinish belgilarining yo‘qligi, shifrlangan qisqartmalar, raqamlarning og‘zaki yozilishi va boshqalar; ▪ Stemlash - qo‘shimchalarni (qo‘shimcha, prefiks, tugatish) olib tashlash orqali so‘zni o‘z ildiziga olib kelish; ▪ Lemmalash - so‘zni semantik kanonik shakliga qisqartirish; ▪ Tozalash - semantik yukni ko‘tarmaydigan to‘xtash so‘zlarini (so‘z birikmalari, qo‘shma gaplar va boshqalar) olib tashlash. Ushbu amallar orqali matnlar zarur belgilarni ajratib olish uchun sonli qayta ishlashga tayyor ko‘rinishga keltiriladi. Bizga sir emaski, ko‘plagan kompaniyalarda juda katta miqdorda foydalanilmaydigan ma’lumotlar (dark data ) mavjud. IBM kompaniyasi hisob-kitoblariga ko‘ra datchiklar va analog raqamli konvertorlar tomonidan shakllantirilayotgan ma’lumotlarning taxminan 90% xech qachon ishlatilmaydi. Xulosa qilib ayttadigan bo‘lsak, strukturalanmagan foydalanilmaydigan ma’lumotlardan foydali ma’lumotlarni ajratib olib ularga ishlov berish eng istiqbolli usullardan biri bo‘lib qoladi.
2. Mа’lumotlarni intellektual tahlili (MIT) masalalarini yechish uchun mo‘ljallangan dasturiy ta’minotlarning tarixi qisqa, lekin shu qisqa davr mobaynida ko‘pgina ishlar nashr qilingan. MIT atamasining o‘zi o‘tgan asr 90-yillari o‘rtalarida paydo bo‘ldi. Dastlab yaratilgan MIT dasturlarga DOS yoki UNIX tizimida ishlovchi, ma’lumotlarni matn fayldan o‘qib, S4.5 algoritmi bo‘yicha klassifikatsiya masalasini yechadigan dasturni keltirish mumkin. Hozirgi kunga kelib, MIT masalalarini yechish uchun barcha dasturiy ta’minotlar quyidagicha umumiy masalalarga ega: mа’lumotlarni dastlabki ko‘rib chiqish uchun statistik tahlil vositalari; ma’lumotlarni vizualizatsiya qilish uchun turli metodlar (Gistogrammalar, diagrammalar, parallel koordinatalar sistemasi, grafiklarni taqsimlash va boshqalar); ma’lumotlarga ishlov berish uchun standart komponentlar (ma’lumotlar bazasi bilan ulanish va unga turli xil so‘rovlar berish, diskretlash va tartiblash funksiyalari, qism, to‘plamlarni tanlash va boshqalar); ma’lumotlarni o‘quv tanlanmalarsiz tahlili metodlari (asosiy komponentli tahlil, turli klasterizatsiya algoritmlari, assotsiativ qoidalarni chiqarish, qism, guruhlar tahlili metodlari va boshqalar); ma’lumotlarni o‘quv tanlanmali tahlili metodlari (klassifikatsiya qoidalari va daraxtlar, tayanch vektorlar tizimi, navi Bayes klassifikatorlari va boshqalar); boshqariladigan va boshqarilmaydigan tahlil asosida ishlangan ma’lumotlarni bashoratlash modellari; modelni qandaydir standart formatda saqlash (masalan, PMML formati); olingan natijalar bo‘yicha turli xil hisobotlarni chiqarish. Ma'lumotlarni tahlil qilish uchun asos modellashtirishdir. Modellashtirish atrofimizdagi dunyoni o'rganishning universal usuli hisoblanadi. Bu bog'liqliklar kashf beradi, yuklash bilim, bashorat qilish, boshqarish va boshqa ko'plab muammolarni hal qilishda muhim ahamiyat kasb etadi. Boshqa vazifalarni ham amalga oshirishda ma’lumotlarni modellashtirish orqali intellectual tahlil qilish yuqori samaradorlik va aniqlik kafolati sifatida maydonga chiqishi kuzatilmoqda. Tizim tushunchasi modellar va modellashtirish asosiy kontseptsiya bilan chambarchas bog'liq.1 Tizim markaziy tushunchadir chunki tizimlar nazariyasi va tizimlarni tahlil qilish intellektual tahlilning o’zagini tashkil etadi. Tizim odatda obyektlar to'plami sifatida tushuniladi, tasodifiy tabiatning tarkibiy qismlari yoki elementlari muayyan kontekstda ba'zi yaxlitlik. Har bir tizim bu paydo bo'ladigan tizim: uning tarkibiy elementlari ega bo'lmagan yangi xususiyatlarga ega bo'ladi. Har bir tizim tizimning paydo bo'lish xususiyatiga ega: tizim uning tarkibiy elementlariga ega bo'lmagan yangi xususiyatlarga ega bo'ladi. Tizimlarning bir nechta turlari mavjud: oddiy, kichik, katta, murakkab. Ularning orasidagi farq elementlar sonidan iborat va ular o'rtasidagi aloqalar turi, shuningdek, resurslar va axborot tayyorgarlik. 2 Qoliplarni qidirish va qo’llash oldindan belgilab olinuvchi va muayyan cheklovlarga ega bo’lmagan metodlardan foydalangan holda amalga oshiriladi. Ma’lumotlarning intellektual tahlili (data mining) — inson hayotining turli jabhalarida qaror qabul qilish uchun xizmat qiluvchi avval ma’lum bo’lmagan, amaliy jihatdan foydali va foydalanish uchun mavjud bo’lgan dastlabki xomaki ma’lumotlarni aniqlash jarayonidir. Ma’lumotlarning intellektual tahlilini ma’lum bo’lmagan bilimlarning transformatsiyasi yoki qayta shakllanishi jarayoni deb ham atash mumkin. Umuman olib qaraganda, Ma’lumotlarning intellektual tahlili uch bosqichdan iborat: Qonuniyatlarni aniqlash (axborot olamida erkin qidiruv) Aniqlangan qonuniyatlardan noma’lum ko’rsatkichlarni bashorat qilish uchun foydalanish(retrospektiv, davriy va prognoz modellashtirish) Aniqlangan qonuniyatlarda mavhumliklarni izohlashga qaratilgan istisno holatlarini tahlil qilish(mantiqiy bo’shliqlarni to’ldirish) Data Mining instrumentlari natijaga ta’sir qiluvchi faktorlarni aniqlashga xizmat qiladi. Shuning uchun turli gazlardan himoyalanish tizimlari bilan bog’liq ko’plab miqdordagi ma’lumotlarni Data Mining tizimi orqali biz turli gazlardan himoyalanish tizimlarining kamchiliklari, tizimda uzilishlarga sabab bo’layotgan ta’sirli omillar, tizim samaradorligi natijasi kabi tahlil qilingan va qayta ishlangan tayyor ma’lumotlarga ega bo’lishimiz mumkin.3 Ishlaydigan yuzda gaz xavfi to'g'risida erta ogohlantirish bo'yicha tadqiqotlar Uyushma qoidalarini qazib olish asosida Xulosa: gazni bashorat qilish va erta ogohlantirish jarayonida ma'lumotlar seriyasidagi chet qiymatlar ko'pincha bekor qilindi. An'anaviy gazni erta ogohlantirish usullari asosan chegaralarni belgilash orqali erishiladi. Kuzatilgan qiymat g'ayritabiiy qiymatga chegaradan yuqori bo'lsa, signal chiqarilgan. Biroq, chet qiymat qiziqarli chet qiymat ekanligini ajratib bo'lmaydi. Gaz kontsentratsiyasi o'rtasidagi bog'liqlik ishchi yuziga, kon ko'mir konida gaz kontsentratsiyasi, gaz kontsentratsiyasi yuqori burchak va ishchi yuzidagi bosim keyingi tasvirlangan.4 Ishchi yuzni qazib olish jarayonida, orqali o'tadigan iflos havo ish yuzi yuqori burchagiga gaz katta miqdorda oshiradi va pullaridan sabab yuqori burchakdagi gaz, bu ishlaydigan yuzning gaz kontsentratsiyasiga ta'sir qiladi yer osti koni. Shaxta bosimi ta'siri tufayli geologik strukturalar va tog ' - kon ko'mir konidagi boshqa omillar, konda yuzaga keladigan gaz kontsentratsiyasi ko’mir qatlamiga bog’liq va shunga ko'ra o'zgaradi, bu kon qazish paytida gaz kontsentratsiyasiga bevosita ta'sir qiladi. Ishchi yuzning qo'llab-quvvatlovchi bosim ma'lumotlari geologik o'zgarishlarni aks ettiradi. ko'mir tikuv tuzilishi, va tog ' - kon mashina tom bosimi davomida buzilgan operatsiya. Tomning bosimi o'zgarganda, goafdagi gaz kontsentratsiyasi o'zgarib turadi, bu pastga tushadigan ishchi yuzdagi gaz kontsentratsiyasiga ta'sir qiladi. Muayyan birlashma mavjud yuqori burchak gaz kontsentratsiyasi, kon coalbed gaz kontsentratsiyasi o'rtasidagi munosabatlar, yuz bosimi va ishlaydigan yuz gazining konsentratsiyasi. Ma'lumotlarning to'rt o'lchamlari bor bir marta anormallik turli daraja, bu gaz ofatlar olib kelishi mumkin. Ning to'rt o'lchovli ma'lumotlari orasidagi bog'lanish munosabatlarini yanada o'rganish yuqori burchak gaz konsentratsiyasi, kon coalbed gaz konsentratsiyasi, gaz konsentratsiyasi ishchi yuz va ishchi yuz bosimi va to'rt o'lchovli o'rtasidagi bog'liqlik ma'lumotlar va er osti gaz xavfi voqealar, bu qog'oz uchun erta ogohlantirish modelini belgilaydi ko'mir yuz gazining multifaktorli ulanish munosabatlarini tahlil qilish, chuqur tahlil qiladi yuqori burchagida va kon coalbed ko'mir yuzi gaz kontsentratsiyasini belgilaydi va anormal ma'lumotlar ishchi yuz bosim qiymatlari va birlashmasi qoidalarini belgilaydi. Tahlil jarayonida asosiy ma'lumotlarning etishmasligi ehtimoli ham mavjud. Bunga end, bu qog'oz ko'mir yuz gaz multifactor qo'shish munosabatlar erta ogohlantirish modelini taklif tahlil. Modelda dastlabki Klaster markazini optimallashtirishga asoslangan k-vositalar algoritmi mavjud va vaznni optimallashtirishga asoslangan Apriori algoritmi. Barcha boshlang'ich Klaster markazi optimallashtirish ma'lumotlarga optimallashtirish uchun oldindan buyurtma qilingan ma'lumotlar to'plamining Klaster markazi yordamida erishiladi k-vositalar algoritm. Optimallashtirilgan algoritm to'plangan ma'lumotlar to'plamidagi chet qiymatlarni filtrlash uchun ishlatiladi chet qiymatlar to'plamini oling. 5 Ko'pgina mamlakatlarda ko'mir konlariga gaz, ko'mir changlari kabi tabiiy ofatlar tahdid solmoqda, yong'in, kon jarayonida turli daraja tom buzish va suv hujum. Ko'mir konlarida ko'plab baxtsiz hodisalar orasida gaz hodisalari eng ko'zga ko'ringan hisoblanadi. Misol uchun, 2013 yildan 2020 yilgacha Xitoyda jami 225 ta turli xil gaz hodisalari sodir bo'ldi, 1304 kishi vafot etdi umumiy baxtsiz hodisalarning 8,3% va o'limning 28,05% ni tashkil qiladi. Ehtiyoj ko'mir koni gaz nazorati dolzarb bo'lib qolmoqda. Bugungi kunga qadar dunyodagi ko'plab olimlar gazni bashorat qilish va erta ogohlantirish bo'yicha tadqiqotlar olib bordi. Song va boshqalar ishlatilgan. Gaz drenaj quvurining gaz xaotik xususiyatlarini tahlil qilish uchun R/s tahlil usuli Hongyang No. 1203 konining 2 ishchi yuzida va Hurst indeksidan foydalangan gaz o'zgarishi tendentsiyasini tahlil qiling va birgalikda yashash haqida erta ogohlantirishni bashorat qiling ko'mir va gaz. Kulrang maqsad modelini tashkil gaz ta'sirini tahlil bosim, diffuziyaning dastlabki tezligi, ko'mirning qattiqligi va ko'mir va gaz portlashlarida shikastlanish turi va modelning ishlash imkoniyatlarini ko'rsatib, ko'mir va gaz portlashlari bashorat qilish ma’lumotlarning intellektual tahlili zaruriyatini taqozo etadi. Tarmoqning og'irligini sozlash orqali BP neyron tarmog'ini yaxshilash lozim bo’ladi va bunday tahliliy qayta ishlangan intellectual tahlil mahsuli hisoblangan yondashuvlar mavjud muammoni eng optimal metodlar yordamida hal qilish ehtimolini yuqori darajaga ko’taradi. Qo'shimcha momentum bilan va ko'mir va gaz portlash ofatlar bashorat qilish, uni amaliy, bu yaxshilangan algoritmning ustunligini isbotladi. Kumari va boshq. joriy yagona manifoldning yaqinlashishi va proektsiyasi (UMAP) va uzoq qisqa muddatli xotira (LSTM) chuqur o'rganish modeli muhrlangan hududning yong'in holatini prognoz qilish uchun taklif qilingan yer osti ko'mir konlarida va eksperimental tadqiqotlar shuni ko'rsatadiki, bashorat samaradorligi taklif etilayotgan UMAP-LSTM modeli mavjud SVR.
3. Turli xil ilovalar uchun ishlatiladigan katta ma'lumotlar to'plami mavjud. Katta hajmdagi ma'lumotlardan foydali ma'lumotlarni olish amaliyoti ma'lumotlar qazib olish deb nomlanadi . Siz ushbu ma'lumotlardan turli xil yondashuvlar yordamida sotishni ko'paytirish, xarajatlarni kamaytirish, mijozlar bilan aloqalarni mustahkamlash, xatarlarni kamaytirish va boshqa ko'p narsalar uchun foydalanishingiz mumkin. Ma'lumotlarni qazib olish ish oqimining asosiy tarkibiy qismi bo'lib , katta ma'lumotlar to'plamlaridan bilim va g'oyalarni aniqlash uchun zarur bo'lgan vositalar va usullarni taqdim etadi. Ma'lumotlar nuqtalari orasidagi munosabatlarni aniqlash va xususiyatlarni tahlil qilish uchun ma'lumotlarni qazib olish muhim rol o'ynaydi. Ma'lumotlarni qazib olish muammolarini hal qilish uchun turli usullardan foydalaniladi. Turli usullar orasida regressiya ma'lumotlarni qazib olishda muhim rol o'ynaydi. Keling, ma'lumotlarni qazib olishda regressiyani batafsil muhokama qilaylik/
R egressiya nima? Regressiya-bu bir bog'liq o'zgaruvchi (odatda y harfi bilan belgilanadi) va mustaqil o'zgaruvchilar deb ataladigan boshqa o'zgaruvchilar to'plami o'rtasidagi bog'liqlikning kuchi va tabiatini aniqlash uchun turli sohalarda qo'llaniladigan statistik usul. Doimiy qiymatga ega bo'lgan har qanday atributni boshqariladigan mashinani o'rganish shakli bo'lgan regressiya yordamida bashorat qilish mumkin . Har qanday biznes tashkiloti maqsadli o'zgaruvchi va bashorat qiluvchi o'zgaruvchi o'rtasidagi bog'liqlikni o'rganish uchun regressiyadan foydalanishi mumkin. Bu biznesni baholash va ma'lumotlar to'plamini bashorat qilish uchun qo'llanilishi mumkin bo'lgan ma'lumotlarni tahlil qilishning muhim vositasidir. Ma'lumotlar nuqtalari to'plamiga mukammal to'g'ri chiziq yoki egri chiziqni o'rnatish jarayoni regressiya deb nomlanadi . Namuna olish nuqtalari va preparat orasidagi masofa eng q isqa bo'lishi uchun tuzilgan.
Chiziqli va logistik regressiyalar regressiyaning eng keng tarqalgan shakllari va mashhur turlari hisoblanadi. Bundan tashqari, ma'lum bir ma'lumotlar to'plami bilan qanchalik yaxshi ishlashiga qarab, regressiyaning boshqa ko'plab shakllaridan foydalanish mumkin. Ushbu modulda siz regressiya bilan bog'liq turli xil tushunchalar bilan tanishasiz. Ma'lumotlarni qazib olishda regressiya "Regressiya" atamasi ma'lumotlarni yig'ishda raqamli qiymatlarni bashorat qilish uchun ma'lumotlarni qazib olish yondashuvini anglatadi. Regressiya mahsulot yoki xizmat narxini va boshqa o'zgaruvchilarni bashorat qilish uchun ishlatilishi mumkin. Shuningdek, u biznes va marketing xatti-harakatlari, atrof-muhitni modellashtirish, tendentsiyalarni o'rganish va turli sohalarda moliyaviy prognozlash uchun ishlatiladi. Regressiya ma'lumotlarni qazib olish usullaridan biridir.

Download 1.41 Mb.

1 2 3

Download 1.41 Mb.