|
Ma’lumotlarni intellektual tahlil etish tizimning maqsad va vazifalari tahlili
|
| bet | 2/4 | | Sana | 14.01.2024 | | Hajmi | 0,55 Mb. | | #137131 |
Bog'liq Dissertasiya mavzusining asoslanishi va uning
Hozirgi kunda ma‘lumotlar ummonida turli toifa va turlarga tegishli bo‘lgan ma‘lumotlar hajmi jadal sur‘atlar bilan oshib bormoqda. Ma‘lumotalar hajmi juda ham katta bo‘lganligi sababli, ular ichidan foydalunuvchi o‘ziga kerakli bo‘lgan axborotlarni ajratib olishi masalasi murakkablashib bormoqda.
Insoniyat o‘ziga kerakli axborotlarni izlash va ularni ajratib olishi uchun ma‘lumotlarni qayta ishlashi, ularni tahlil qilishi, aniqrog‘i ma‘lumotlarni intellektual tahlil qilishi lozim bo‘lmoqda. Ma‘lumotlarni tahlil qilishning an‘anaviy usullari, asosan, ma‘lumotlar haqidagi oldindan mavjud bo‘lgan gipotezalarni tekshirishga qaratilgan bo‘lib, intellektual tahlil esa ma‘lumotlar tuzilmasini, ma‘lumotlar orasidagi ilgari ma‘lum bo‘lmagan bog‘liqliklar va qonuniyatlarni aniqlashga qaratilgan[7,8].
Ma’lumotlar to’plamining turlari va ularni saqlash formatlari. Eng ko‘p uchratiladigan ma‘lumotlar bu yozuvlardan tashkil topgan ma‘lumotlardir. Bunday ma‘lumotlar to‘plamiga jadvalli ma‘lumotlar, matrisali ma‘lumotlar, hujjatli ma‘lumotlar, tranzaksiyali yoki operasiyali ma‘lumolarni kiritamiz.
Jadvalli ma‘lumotlar – fiksirlangan atributlar to‘plamidan tuzilgan yozuvlardan iborat bo‘lgan ma‘lumotlardir.
Tranzaksiyali ma‘lumotlar – har bir yozuv qiymatlari to‘plami bilan tranzaksiya bo‘lib keladigan ma‘lumotlarning alohida turini anglatadi. Tranzaksiyali ma‘lumotlar bazasiga-magazinda xaridorlarning qilgan savdolaridan tuzilgan ro‘yxatni misol qilib olishimiz mumkin.
Grafikli-ma‘lumotlarga misol sifatida www-ma‘lumotlari, molekulalar strukturasi, grafalar, kartalar va shu kabilarni ayta olamiz.
Hozirgi vaqtda ma‘lumotlarning asosiy xususiyatlaridan biri ular juda ko‘p o‘zgarishi natijalarida qaytadan tuzilishidir. Ma‘lumotlar bilan ishlashning to‘rtta jihati mavjud: ma‘lumotni aniqlash, hisoblash, manipulyasiya qilish va
qayta ishlash (yig‘ish, uzatish va h.k.)
Manipulyasiya qilingan ma‘lumotlar orqali «fayl» tipidagi ma‘lumotlar strukturasidan foydalaniladi. Fayllar har xil formatga ega bo‘lishi mumkin.
Data Mining (DM) aksariyat instrumentlari turli xil manbalardan ma‘lumotlarni import qilishga ruxsat beradi hamda natija sifatida olingan ma‘lumotlarni turli xil formatga eksport qiladi[8].
Tajribalar uchun ma‘lumotlarni qandaydir yagona formatda saqlash qulay bo‘ladi. DM ning ba‘zi instrumentlaridagi proseduralar ma‘lumotlarning importi/eksporti deb ataladi. Boshqalari esa turli ma‘lumotlar manbalarini to‘g‘ridan-to‘g‘ri ochish imkonini beradi va DM natijalarini ko‘rsatilgan formatlardan biriga saqlaydi.
Ma‘lumotlarni saqlash formatlari eng keng tarqalgani 1.1-rasmda tasvirlangan:
1.1-rasm. Ma‘lumotlarni saqlash bo‘yicha eng ko‘p tarqalgan formatlar.
So‘roqlar sonning eng ko‘pi 23% bo‘lib, ular ma‘lumotlar bazasi formatida saqlanadigan ma‘lumotlarni tashkil etgan. Text, CSV formatlari – 18%, 14% li so‘roqlarni Text, space or tab separated I SAS formatlarida saqlanadigan ma‘lumotlar; 9% Excel formatida, SPSS da – 8%, S-Plus/R da – 4%, Weka ARFF da- 6% va Data Mining (DM) instrumentlarining boshqa formatlarida - 2%ni tashkil etgan. So‘roqlar natijasida ko‘rinib turganidek, DM uchun eng ko‘p saqlangan ma‘lumotlar formati bu ma‘lumotlar bazasini ko‘rsatadi [8].
Data Mining ma‘lumotlarni intellektual tahlil qiluvchi texnologiya hisoblanib, amaliyotda keng qo‘llanilib kelinmoqda.
DM odatda ikki xil ma‘noni bildiradi, ya‘ni katta hajmdagi ma‘lumotlar bazasi (MB)dan kerakli ma‘lumotlarni qidirib topish hamda katta hajmdagi ishlov berilmagan materialni mazmunan tadqiq qilish demakdir.
DM ma‘lumotlarni intellektual tahlili, qonuniyatlarini topish muhiti, bilimlarni kengaytirish, shablonlarni tahlil qilish, MBdan bilimlarni axborot tarkibini aniqlash va h.k. kabi ma‘noni anglatadi.
DM tushunchasi 1978 yillarda vujudga kela boshladi va 1990 yillarning birinchi yarim yillarida zamonaviy talqinda yuqori ommaboplikka erishildi. Bu vaqtlarda ma‘lumotlarni qayta ishlash va tahlil qilish amaliy statistikaning tarkibida bo‘lgan, shuning uchun qayta ishlash masalalari asosan katta bo‘lmagan ma‘lumotlar bazalarida olib borilgan edi[9].
DM– ma‘lumotlardan yashirin qonuniyatlarni (axborotlar shablonlarini) aniqlab qaror qabul qilishga asoslangan jarayonidir.
Bu texnologiyaning mohiyati va maqsadi katta hajmdagi ma‘lumotlardan ma‘lum bo‘lmagan obyektiv va amaliy foydali qonuniyatlarini aniqlash uchun mo‘ljallangan.
Ma‘lum bo‘lmaslik – topilgan qonuniyat axborotni qayta ishlashning standart metodlari yoki ekspert yo‘llar bilan aniqlanmaydi.
Obyektiv – aniqlangan qonuniyatlar haqiqatga to‘liq mos keladi va ekspertli mulohazalardan farqi uning hamma vaqt subyektiv bo‘lmasligidadir.
Amaliy foydali – amaliy qo‘llanilish qonuniyatlari topilganda tahlil qilinayotgan ma‘lumotlar aniq qiymatlarga ega bo‘ladi.
Bilimlar – tavsiflanadigan manbalar, fan sohalari, muammolar va h.k. haqida ba‘zi bir xulosalarni beradigan ma‘lumotlar yig‘indisidir.
Bilimlardan foydalanish aniq afzalliklarga erishish uchun topilgan bilimlarning amaliy qo‘llanilishi tushuniladi.
Data Mining ―topilma‖ yoki ―topilmani qazib olish‖ kabi tarjima qilinadi. Ko‗pincha Data Mining bilan birgalikda ―ma‘lumotlar bazasida bilimlarni izlab
topish‖ (knowledge discovery in databases) va ―ma‘lumotlarning intellektual tahlili‖ so‗zlari ishlatiladi. Ular Data Mining ning sinonimlari hisoblanadi. Yuqorida keltirilgan barcha terminlar ma‘lumotlarni qayta ishlash vositalari va usullari bilan bog‗langan.
Shu bilan birgalikda, amaliyotchilar amaliy masalalarni echish uchun nazariy fikrlarni qo‗llash ko‗pincha natijasiz ekanligini bilishardi. Ammo ular bular bilan ishi yo‗q-o‗zlarining katta bo‗lmagan lokal ma‘lumotlar bazasini qayta ishlash kabi xususiy masalalari ustida bosh qotirishar edilar[9,10].
Ma‘lumotlarni yozish va saqlash texnologiyalarining mukammallashuvi natijasida insonlarga turli sohalardan ko‗plab axborot oqimlari yopirildi. Ixtiyoriy tashkilot (tijorat, ishlab chiqaruvchi, meditsina, ilmiy va sh.o‗.) ning ishi uning ish faoliyatini to‗liq ro‗yxatdan o‗tkazish va yozish bilan bog‗liq bo‗lib qoldi. Bu axborotlar bilan endi nima qilish kerak? Ma‘lum bo‗ldiki, ma‘lumotlar oqimi qayta ishlanmasa, ular keraksiz matohga aylanib qoladi.
Bunday qayta ishlashlar uchun zamonaviy talablar spetsifikasi quyidagicha: Ma‘lumotlar cheklanmagan hajmga ega;
Ma‘lumotlar turli xil bo‗ladi (sonli, sifatli, matnli); Natijalar aniq va tushunarli bo‗lishi kerak;
Ma‘lumotlarni qayta ishlash vositalari ishlatish uchun sodda bo‗lishi kerak.
Ma‘lumotlar analizining asosiy vositasi roliga ko‗p vaqt davomida da‘vogarlik qilgan an‘anaviy matematik statistika paydo bo‗lgan muammo oldida ochiqchasiga taslim bo‗ldi. Asosiy sabab – soxta kattaliklar ustida amallar bajarishga olib keladigan tanlash bo‘yicha yaqinlashtirish konsepsiyasi (kasalxonadagi bemorning o‗rtacha tempiraturasi, ko‗chadagi qasr va kulbalardan iborat uylarning o‗rtacha balandligi va kabi amallar). Matematik statistika usullari oldindan ifodalangan gipotezlarni tekshirish uchun (verification-driven data mining) va ma‘lumotlarni operativ analitik qayta ishlashga (online analytical processing, OLAP) asoslangan ―qo‗pol‖ razvedka analizi uchun foydali bo‗lib chiqdi[10].
Zamonaviy Data Mining (discovery-driven data mining) asosiga ma‘lumotlarning o‗zaro munosabatida ko‗p aspektli fragmentlarini tasvirlaydigan shablonlar (patternlar) konsepsiyasi qo‗yilgan. Bu shablonlar o‗zida inson uchun tushunarli bo‗lgan ma‘lumotlarni tanlab olishga asoslangan qonuniyatlarni tasvirlaydi. Shablonlarni izlash tanlash strukturasi bo‗yicha tajribada ko‗rib chiqilgan va analiz qilinadigan ko‗rsatkichlar qiymatlarini taqsimlash ko‗rinishidagi usullar bilan amalga oshiriladi. Bunday izlashga misol quyidagi 1-jadvalda keltirilgan.
1-jadval. OLAP va Data Mining metodlarini qo‗llab masalalarni
yechishga misol
|
| |
