FARG`ONA DAVLAT UNIVERSITETI
MATEMATIKA VA INFORMATIKA FAKULTETI
AMALIY MATEMATIKA VA INFORMATIKA KAFEDRASI
Mustaqil ish
Mavzu: Katta hajmli ma`lumotlarni qayta ishlashda qo`llanilayotgan texnologiyalar: NoSQL, MapReduce, Hadoop, R, ERP, SAP
Tayyorladi:Amaliy matematika va informatika yo`nalishi
19.08 A guruh talabasi : Rahmonov Xurshidbek
O`qituvchi: Tojimamatov . I
Farg`ona – 2022
Reja:
Katta ma'lumotlar haqida.
NoSQL texnologiyasi.
ERP texnologiyasi haqida.
SAP biznes texnologiyalari.
Hadoop texnologiyasi haqida.
MapReduce Texnologiyasi.
Katta ma'lumotlar bu axborotni tahlil qilish, muntazam ravishda chiqarib olish yoki boshqa usullar bilan ishlash usullarini ko'rib chiqadigan soha ma'lumotlar to'plamlari juda katta yoki murakkab bo'lib, an'anaviy tarzda ko'rib chiqilmaydi ma'lumotlarni qayta ishlash dasturiy ta'minot.Ko'p holatlar (satrlar) bo'lgan ma'lumotlar kattaroqdir statistik kuch, murakkabligi yuqori bo'lgan ma'lumotlar (ko'proq atributlar yoki ustunlar) yuqori darajaga olib kelishi mumkin noto'g'ri kashfiyot darajasi.[2] Ma'lumotlarning katta muammolariga quyidagilar kiradi ma'lumotlarni yozib olish, ma'lumotlarni saqlash, ma'lumotlarni tahlil qilish, qidirmoq, almashish, o'tkazish, vizualizatsiya, so'rov qilish, yangilanmoqda, axborotning maxfiyligi va ma'lumotlar manbai. Katta ma'lumotlar dastlab uchta asosiy tushunchalar bilan bog'liq edi: hajmi, xilma-xillikva tezlik. Katta ma'lumotlar bilan ishlashda biz namuna olmasligimiz mumkin, balki shunchaki nima bo'lishini kuzatish va kuzatib borishimiz mumkin. Shuning uchun katta ma'lumotlarga odatda an'anaviy dasturiy ta'minotni maqbul vaqt ichida qayta ishlash hajmidan kattaroq kattalikdagi ma'lumotlar kiradi.
Big Data tahlil qilish uchun zarur bo‘lgan ma’lumotlarni tanlaydi va tizimlaydi, katta ma’lumotlardan ilg‘or tahliliy vazifalarni bajarish uchun sun’iy intellektdan foydalanadi. Ko‘proq katta ma’lumotlar kengaytirilgan tahliliy vazifalar uchun qo‘llaniladi, shu jumladan, sun’iy aql ham.
Tahlil qilishning to‘rtta asosiy usuli mavjud:
Tavsiflovchi tahlil (descriptive analytics) – eng keng tarqalgan usul bo‘lib, u «nima bo‘ldi?» degan savolga javob beradi hamda real vaqtda kelayotgan va tarixiy ma’lumotlarni tahlil qiladi. Asosiy maqsad ma’lum bir sohadagi muvaffaqiyat yoki muvaffaqiyatsizlik sabablari va uning muntazamligini aniqlash hamda ushbu ma’lumotlardan samarali foydalanish.
Bashoratli tahlil (predictive analytics) – mavjud ma’lumotlarga asoslanib, voqealarning eng ehtimoliy rivojlanishini bashorat qilishga yordam beradi. Buning uchun shunga o‘xshash xususiyatlar to‘plamiga ega bo‘lgan har qanday ob’yekt yoki hodisalarga asoslangan tayyor shablonlardan foydalanadi.
Retseptiv tahlil (prescriptive analytics) – bashoratli tahlil bilan solishtirganda undan keyingi daraja. Big Data va zamonaviy texnologiyalar yordamida biznesdagi yoki boshqa faoliyatdagi muammoli nuqtalarni aniqlash va kelajakda qaysi yo‘l bilan ulardan qochish mumkinligini hisoblash mumkin.
Tashxisli tahlil (diagnostic analytics) – sodir bo‘lgan voqea sabablarini tahlil qilish uchun ma’lumotlardan foydalanadi. Bu hodisalar va harakatlar o‘rtasidagi anomaliyalar va tasodifiy aloqalarni aniqlashga yordam beradi.
Ma'lumotlar to'plami ma'lum darajada tez o'sib boradi, chunki ular tobora arzon va ko'p sonli ma'lumotni yig'ish orqali to'planmoqda Internetdagi narsalar kabi qurilmalar mobil qurilmalar, havo (masofadan turib zondlash ), dasturiy ta'minot jurnallari, kameralar, mikrofonlar, radiochastota identifikatsiyasi (RFID) o'quvchilar va simsiz sensorli tarmoqlar. Axborotni saqlash bo'yicha dunyoning jon boshiga texnologik quvvati 1980-yillarga qaraganda har 40 oyda qariyb ikki baravarga oshdi; 2012 yildan boshlab, har kuni 2.5 ekzabayt (2.5×260 bayt) ma'lumotlar hosil bo'ladi. Asosida IDC hisobotni prognoz qilish, global ma'lumotlar hajmi 4.4 dan shiddat bilan o'sishi taxmin qilingan zettabayt 2013 yildan 2020 yilgacha 44 zettabaytgacha. 2025 yilga kelib, IDC 163 zettabayt ma'lumot bo'lishini taxmin qilmoqda.Yirik korxonalar uchun bitta savol - bu butun tashkilotga ta'sir qiladigan katta ma'lumotlar tashabbuslari kimga tegishli bo'lishi.
Ma'lumotlar bazasini boshqarish tizimlari, ish stoli statistika[tushuntirish kerak ] va ma'lumotlarni tasavvur qilish uchun ishlatiladigan dasturiy ta'minot to'plamlari ko'pincha katta ma'lumotlar bilan ishlashda qiyinchiliklarga duch keladi. Ish uchun "o'nlab, yuzlab va hatto minglab serverlarda ishlaydigan katta miqdordagi parallel dasturiy ta'minot" talabqilinishi mumkin. "Katta ma'lumotlar" deb nomlanadigan narsa foydalanuvchilarning imkoniyatlari va ularning vositalariga qarab o'zgarib turadi va imkoniyatlarning kengayishi katta ma'lumotlarni harakatlanuvchi maqsadga aylantiradi. "Yuzlab tashkilotlarga duch keladigan ba'zi tashkilotlar uchun gigabayt ma'lumotlar birinchi marta ma'lumotlarni boshqarish imkoniyatlarini qayta ko'rib chiqish zarurligini keltirib chiqarishi mumkin. Boshqalar uchun ma'lumotlar hajmi muhim ahamiyatga ega bo'lgunga qadar o'nlab yoki yuzlab terabayt kerak bo'lishi mumkin.
NoSQLma'lumotlarbazalarimaxsusuchunmaxsusyaratilganma'lumotlarmodellarivazamonaviydasturlarniyaratishuchunmoslashuvchanjadvallargaega. NoSQL ma'lumotlar bazalari rivojlanish qulayligi, funktsionalligi va ishlashi uchun keng tan olingan Katta ma'lumot. Ular hujjat, diagramma, kalit qiymati, xotira va qidirish kabi turli xil ma'lumotlar modellaridan foydalanadilar.
|
