1-ma’ruza. Berilganlarni intellektual tahliliga kirish
O’tgan asrning 60-yillardan beri, yani elektron hisoblash mashinalarini yuzaga kelishi va turli sohalarga tadbiqi rivojlanish davridan Axborot-kommunikatsiya texnologiyalari (AKT) oddiy fayllarni qayta ishlash tizimlaridan murakkab, kuchli berilganlar bazasini (BB) boshqarish tizimlariga bosqichma-bosqich rivojlandi. 1970-yillardan beri berilganlar bazasini o'rganish dastlabki ierarxik va tarmoqli berilganlar bazalaridan relyatsion berilganlar bazasini boshqarish tizimlariga (BBBT), berilganlarni modellashtirish vositalariga, indekslash va berilganlarni tashkil qilish masalalariga o'tdi. Foydalanuvchilar so'rovlar tillari (masalan, SQL), foydalanuvchi interfeyslari, tranzaktsiyalarni boshqarish va boshqalar yordamida berilganlarga murojaat qilishning moslashuvchan va qulay interfeysga ega bo'lishdi. Bunday tizimlarga qo'yiladigan asosiy talablar tranzaksiya va barcha o'zgarishlarning samaradorligini ta'minlash edi.
1980-yillarning oʻrtalaridan boshlab berilganlar bazasi texnologiyasi ommalashtirish, keng qoʻllash va yangi, tobora kuchayib borayotgan BBBTlarda tadqiqot ishlarini jamlash bilan tavsiflanadi. Ob'ektga yo'naltirilgan, ob'ektli relatsion, deduktiv modellar kabi yangi berilganlar modellari paydo bo'ldi.
Har xil mavzuga yo'naltirilgan berilganlar bazalari va berilganlar bazalari (fazoviy, vaqtinchalik, multimedia, ilmiy va boshqalar) mavjud edi. Onlayn tranzaksiyani qayta ishlashning samarali usullari (on-line transaction processing – OLTP) katta hajmdagi tizimli ma'lumotlarni samarali saqlash, qidirish va boshqarishning asosiy universal vositalaridan biri sifatida relyatsion texnologiyaning rivojlanishi va keng qo'llanilishiga katta hissa qo'shdi.
Internetning rivojlanishi bilan taqsimlangan berilganlar bazalarini yaratish va taqsimlangan global axborot tizimlarini yaratish masalalari ham rivojlandi. Turli berilganlarni shakllantirish va arxivlash zarurati keskin oshdi, natijada mashtablanuvchi dasturiy-apparat majmualar, qimmatbaho kuchli va arzon foydalanuvchi kompyuterlari va berilganlarni saqlash qurilmalari rivojlandi.
Bularning barchasi AKT sanoatining jadal rivojlanishiga hissa qo'shdi va sezilarli katta hajmdagi turli toifadagi ma’lumotlarni saqlash uchun ulkan sondagi berilganlarga murojaat qilish va ulardagi tranzaktsiyalarni boshqarish imkoniyatini berdi.
Shu bilan birga, mavjud berilganlarni turli vaqtli aspektda tahlil qilish zarurati ortib bordi, turli registratsiya qilingan BBgan olingan juda katta hajmdagi berilganlarga ishlob berish sharti bilan yuzaga keluvchi turli so'rovlarni yaratish zarurati paydo bo’ldi. Ushbu vazifalar uchun an'anaviy registratsiya qiluvchi tizimlari va BBlaridan foydalanish juda qiyinchiliklarni yuzaga keltirdi.
Ushbu ehtiyojga javob BBlarini tashkil qilishning yangi texnologiyasining paydo bo'lishi bo'ldi – berilganlarni dastlabki ishlov berish va integratsiyalashni, shuningdek, onlayn tahliliy ishlov berish (English On-Line Analytical Processing, OLAP) taqoza etuvchi berilganlar saqlagichi texnologiyasi (Data Warehouse) yuzaga kelishiga sabab bo’ldi.
Berilganlarni tahlil qilish vositasining yaqqol foydaliligiga qaramay, u yaxshi normallashgan jadval berilganlariga mo’ljallangan bo’lib, unda klassifikatsiyalash, klasterlash, regression tahlil, modellashtirish bir qator berilganlarga ma'lumotlarni tasniflash, modellashtirish, prognozlash va ko’p o’chamli berilganlarni interpretatsiya qilish kabi bir qator qo'shimcha analitik vositalardan foydalanish ko’zda tutilmagan.
To'plangan va to'ldiriladigan berilganlar arxivlarining tez o'sib borayotgan hajmi (avtomatik ravishda, ilgari bo'lgani kabi odamlar tomonidan emas), hanuzgacha insonning amaliy foydali ishlov berish qobiliyatidan sezilarli darajada oshadi.
Shu sababli, so'nggi yillarda mavjud berilganlardan bilimlarni izlash va ajratib olish usullarini ishlab chiqishga qaratilgan va ular asosida aniq, yuqori darajada asoslangan, amaliy jihatdan foydali boshqaruv qarorlarni qabul qilish imkon beruvchi Data Mining (berilganlarni intellectual tahlili) sohasi yuzaga keldi.
1-rasmda turli xil berilganlar manbalarining integratsiyasidan boshlab va boshqaruv qarorlarini qabul qilish uchun Data Mining usullarini qo’llash bilan tugaydigan berilganlarga ishlov berish metodologiyalarining umumlashtirilgan ierarxik ko'rinishga misol keltirilgan.
1-расм. Бошқарув қарорларини қабул қилишдаги берилганларга ишлов бериш методологиясининг умумлашган шажаравий кўринишига мисол.
|
