BigData: katta hajmdagi ma’lumotlarni tahlil qilish tamoyillari Baxtiyor Normamatovich Rustamov «Fido-Biznes»




Download 197.24 Kb.
Pdf ko'rish
bet2/3
Sana17.10.2022
Hajmi197.24 Kb.
#27399
1   2   3
Bog'liq
2938-Article Text-5978-1-10-20220425
ae733e95-6d96-491d-a9d3-97fd6a42d99d
BigData bilan ishlashning asosiy tamoyillari. 
1. Gorizontal miqyoslilik: ma’lumotlar juda ko’p bo’lishi mumkinligi sababli
ular saqlanadigan tizim kengaytirilishi kerak. Agar ma’lumotlar miqdori ikki baravar 
ko’paygan bo’lsa, u holda klasterlar soni ikki baravar ko’payadi. 
2. Xatolarga chidamlilik: gorizontal miqyoslilik klasterda ko’p sonli mashinalar 
mavjudligini anglatadi. Va, albatta, bu mashinalar u yoki bu sabablarga ko’ra 
muvaffaqiyatsiz bo’ladi. Masalan, Yahoo ning Hadoop klasterida 42 000 dan ortiq 
mashinalar mavjud. BigData bilan ishlash usullari ushbu omilni hisobga olishi va 
ko’rinadigan yo’qotishlarsiz ishlashni davom ettirishi kerak. 
3. Ma’lumotlarning joylashishi: katta tizimlarda ma’lumotlar ko’p sonli 
mashinalar bo’ylab taqsimlanadi. Agar ma’lumotlar bir mashinada joylashgan bo’lsa 
va boshqa mashinada qayta ishlansa, bu ma’lumotlarni uzatish narxi hatto qayta ishlash 
narxidan oshib ketishi mumkin. Shuning uchun BigData dizaynidagi muhim masala - 
ma’lumotlarning joylashuvi, ma’lumotlarni u saqlanadigan joyda qayta ishlash 
printsipi. 
Big Data axborot texnologiyalarining eng tez rivojlanayotgan yo’nalishlaridan 
biri bo’lib, statistik ma’lumotlarga ko’ra, qabul qilingan va saqlanadigan 
ma’lumotlarning umumiy hajmi har 1-2 yilda ikki barobar ortadi. 2012-2014-yillarda 
mobil tarmoqlar orqali har oyda uzatiladigan maʼlumotlar hajmi 81 foizga oshdi. Cisco 
ning hisob-kitoblariga ko’ra, 2014-yilda mobil trafik hajmi oyiga 2,5 ekzabaytni (10 ^ 
18 standart baytga teng axborot miqdori o’lchov birligi) tashkil etgan bo’lsa, 2019-
"Science and Education" Scientific Journal / ISSN 2181-0842
April 2022 / Volume 3 Issue 4
www.openscience.uz
179


yilda esa 24,3 ekzabaytga teng bo’ladi. Shunday qilib, BigData biznesning ko’plab 
sohalarida keng tarqalgan va kompaniyalar rivojlanishida muhim rol o’ynaydigan 
nisbatan yosh bo’lishiga qaramay, allaqachon shakllangan texnologiya sohasidir. 
BigData texnologiyalari
BigData ni yig’ish va qayta ishlash uchun foydalaniladigan texnologiyalarni 3 
guruhga bo’lish mumkin:
- Dasturiy ta’minot;
- Uskunalar;
- Xizmatlar.
Ma’lumotlarni qayta ishlashning eng keng tarqalgan yondashuvlari (dasturiy 
ta’minot) quyidagilardir:
SQL - bu ma’lumotlar bazalari bilan ishlash imkonini beruvchi tuzilgan so’rovlar 
tili. SQL-dan foydalanib, siz ma’lumotlarni yaratishingiz va o’zgartirishingiz mumkin 
va ma’lumotlar massivi tegishli ma’lumotlar bazasini boshqarish tizimi tomonidan 
boshqariladi.
NoSQL - atama Not Only SQL (nafaqat SQL) degan ma’noni anglatadi. U 
ma’lumotlar bazasini amalga oshirishga qaratilgan bir qator yondashuvlarni o’z ichiga 
oladi, ular an’anaviy, relyatsion MBBT da qo’llaniladigan modellardan farq qiladi. 
Ular doimiy o’zgaruvchan ma’lumotlar tuzilmasi bilan foydalanish uchun qulay. 
Masalan, ijtimoiy tarmoqlarda ma’lumotlarni yig’ish va saqlash.
MapReduce - bu hisoblash taqsimoti modeli. Juda katta ma’lumotlar 
to’plamlarida parallel hisoblash uchun ishlatiladi (petabayt* yoki undan ko’p). 
Dasturlash interfeysida ma’lumotlar ishlov berish uchun dasturga o’tkazilmaydi, lekin 
dastur ma’lumotlarga o’tkaziladi. Shuning uchun so’rov alohida dastur hisoblanadi. 
Ishlash printsipi ikkita Map va Reduce usuli bilan ma’lumotlarni ketma-ket qayta 
ishlashdan iborat. Xarita dastlabki ma’lumotlarni tanlaydi, Reduce ularni yig’adi.
Hadoop - yuqori yuklangan saytlar uchun qidiruv va kontekstli mexanizmlarni 
amalga oshirish uchun ishlatiladi - Facebook, eBay, Amazon va boshqalar. O’ziga xos 
xususiyat shundaki, tizim har qanday klaster tugunlarining ishdan chiqishidan 
himoyalangan, chunki har bir blokda kamida bitta nusxa mavjud.
SAP HANA - yuqori samarali NewSQL ma’lumotlarni saqlash va qayta ishlash 
platformasi. Yuqori tezlikda so’rovni qayta ishlashni ta’minlaydi. Yana bir farqlovchi 
tomoni shundaki, SAP HANA analitik tizimlarni qo’llab-quvvatlash xarajatlarini 
kamaytirish orqali tizim landshaftini soddalashtiradi. 
BigData muammolari
BigData tizimining muammolarini uchta asosiy guruhga bo’lish mumkin: hajm, 
ishlov berish tezligi, tizimlashtirilmaganlik. Bular uchta V - Volume, Velocity va 
Variety.
"Science and Education" Scientific Journal / ISSN 2181-0842
April 2022 / Volume 3 Issue 4
www.openscience.uz
180


Katta hajmdagi ma’lumotlarni saqlash maxsus shartlarni talab qiladi va bu makon 
va imkoniyatlar masalasidir. Tezlik nafaqat qayta ishlashning eski usullaridan kelib 
chiqadigan mumkin bo’lgan sekinlashuv va "tormozlash" bilan bog’liq, balki bu 
interaktivlik masalasidir: jarayon qanchalik tez bo’lsa, daromad qanchalik ko’p bo’lsa, 
natija shunchalik samarali bo’ladi. Bir xil emaslik va tizimlashmaganlik muammosi 
manbalar, formatlar va sifatlarning parchalanishi tufayli yuzaga keladi. Ma’lumotlarni 
birlashtirish va ularni samarali qayta ishlash uchun nafaqat uni ishlaydigan shaklga 
keltirish bo’yicha ish, balki ma’lum analitik vositalar (tizimlar) ham talab qilinadi. 
Lekin bu hammasi emas. Ma’lumotlarning "kattaligi" ni cheklash muammosi mavjud. 
Buni aniqlash qiyin, ya’ni keyingi rivojlanish uchun qanday texnologiyalar va qancha 
moliyaviy in’ektsiya talab qilinishini oldindan aytish qiyin. Resurslar cheksiz emas, 
barcha mumkin bo’lgan ma’lumotlarni saqlash bir nuqtada amaliy bo’lmaydi. 
Shuningdek, ma’lumotlarning bir qismini rad etish zarurati mavjud. Aslida, bu 
kompaniyada BigData loyihalarini amalga oshirish kechikishining asosiy sababidir 
(agar siz yana bir omilni hisobga olmasangiz - ancha yuqori narx). Qayta ishlash uchun 
ma’lumotlarni tanlash va tahlil qilish algoritmi muammoga aylanishi mumkin, chunki 
qanday ma’lumotlarni to’plash va saqlash kerakligi va qaysi biriga e’tibor bermaslik 
kerakligi haqida hech qanday tushuncha yo’q. Sohaning yana bir “og’riqli nuqtasi” 
yaqqol ko’rinib turibdi - chuqur tahlil qilish, biznes muammolarini hal qilish uchun 
hisobotlar yaratish va natijada BigData dan foyda (investitsiya daromadi) olishga 
ishonish mumkin bo’lgan professional mutaxassislarning yetishmasligi.
Bu yerda siz yana bir muammoga to’xtashingiz mumkin - ma’lumotlarni saqlash 
va ulardan foydalanish xavfsizligini ta’minlash. Masalan, onlayn-do’konlarning veb-
saytlarida potentsial xaridorlar va ularning o’tish tarixi haqidagi ma’lumotlar ko’plab 
biznes muammolarini hal qilish uchun noyobdir. Ammo iste’molchilar avtomatik 
ravishda (shunchaki saytga tashrif buyurib) o’z ma’lumotlarini uzatadigan analitik 
platforma xavfsizmi, bu juda ko’p bahs-munozaralarga sabab bo’ladi.
BigData biz uchun ishlab chiqarishni rejalashtirish, ta’lim, sog’liqni saqlash va 
boshqa sohalarda yangi ufqlarni ochadi. Agar ularning rivojlanishi davom etsa, 
BigData texnologiyalari ishlab chiqarish omili sifatida axborotni mutlaqo yangi sifat 
darajasiga ko’tarishi mumkin. Axborot nafaqat mehnat va kapitalga tenglashadi, balki 
zamonaviy iqtisodiyotning eng muhim resursiga aylanadi. 

Download 197.24 Kb.
1   2   3




Download 197.24 Kb.
Pdf ko'rish

Bosh sahifa
Aloqalar

    Bosh sahifa



BigData: katta hajmdagi ma’lumotlarni tahlil qilish tamoyillari Baxtiyor Normamatovich Rustamov «Fido-Biznes»

Download 197.24 Kb.
Pdf ko'rish