|
Katta hajmdagi ma’lumotlar (Big Data) qayta ishlash texnologiyalari
|
| bet | 2/4 | | Sana | 14.12.2022 | | Hajmi | 21.14 Kb. | | #34672 |
Bog'liq big data , 245 lotin (1), geodez, algebraik-va-transtsendent-tenglamalarni-taqribiy-echish-usullari-qisqartma-akslantirish-usuli-itera (1), Xayrullayeva Mashhura ona tili va o\'qish savodxonligidan kurs ishisi 1, 3 Falsafa fanining predmeti, mazmuni va jamiyatdagi roli D, akadimik yozu 1.2, amaliy-ish-fizika, Fezika 2, diplom ishi, Dorilarning ta’sir turlari nojo’ya ta’sirlari dorilarni birgalikda va takror qo’llash oqibatlari, Mavzu Bog‘lovchi moddalar texnologiyasi-fayllar.orgManba Wikibon
Katta ma'lumotlar sferasi quyidagi xususiyatlar bilan tavsiflanadi:
Ovoz - hajm, to'plangan ma'lumotlar bazasi - bu an'anaviy usulda qayta ishlash va saqlash uchun juda zarur bo'lgan, yangi yondashuv va takomillashtirilgan vositalarni talab qiladigan katta miqdordagi ma'lumotlar.
Tezlik - tezlik, bu xususiyat ma'lumotlarni to'plash tezligi oshib borayotganligini (so'nggi 90 yil ichida ma'lumotlarning 90 foizi to'plangan) va ma'lumotlarni qayta ishlash tezligini, yaqinda real vaqt rejimida ma'lumotlarni qayta ishlash texnologiyalariga talab ortib borayotganligini ko'rsatadi.
Turli xil - xilma-xillik, ya'ni. bir vaqtning o'zida tuzilgan va tuzilmagan ko'p formatli ma'lumotlarni qayta ishlash qobiliyati. Strukturalangan ma'lumotlarning asosiy farqi shundaki, uni tasniflash mumkin. Bunday ma'lumotlarning misoli - mijozlar bilan bog'liq operatsiyalar to'g'risidagi ma'lumotlar.
Tarkiblanmagan ma'lumotlarga video, audiofayllar, bepul matnlar, ijtimoiy tarmoqlardan keladigan ma'lumotlar kiradi. Bugungi kunda ma'lumotlarning 80 foizi strukturalanmagan guruhdadir. Ushbu ma'lumot keyinchalik qayta ishlash uchun foydali bo'lishi uchun har tomonlama tahlilga muhtoj.
Aniqlik - ma'lumotlar ishonchliligi, foydalanuvchilar mavjud ma'lumotlarning ishonchliligiga tobora ko'proq ahamiyat bera boshladilar. Shunday qilib, Internet kompaniyalari robot va kompaniyaning veb-saytidagi odam tomonidan amalga oshiriladigan harakatlarni ajratishda muammolarga duch kelishadi va natijada ma'lumotlar tahlilida qiyinchilik tug'diradi.
Qiymati - to'plangan ma'lumotlarning qiymati. Katta ma'lumotlar kompaniya uchun foydali bo'lishi va unga bir oz foyda keltirishi kerak. Masalan, biznes jarayonlarini takomillashtirish, hisobot berish yoki xarajatlarni optimallashtirishda yordam berish.
Yuqoridagi 5 shartga rioya qilgan holda, to'plangan ma'lumotlarning miqdori katta deb tasniflanishi mumkin.
Big Data texnologiyasining ko'lami juda katta. Shunday qilib, Big Data yordamida siz mijozlarning xohish-istaklari, marketing kompaniyalarining samaradorligi to'g'risida ma'lumot olishingiz yoki xavf tahlili o'tkazishingiz mumkin. Quyida IBM instituti tomonidan kompaniyalarda Big Data-dan foydalanish sohalari bo'yicha o'tkazilgan so'rov natijalari keltirilgan.
Diagrammadan ko'rinib turibdiki, aksariyat kompaniyalar Big Data-dan mijozlarga xizmat ko'rsatish sohasida foydalanishadi, ikkinchi eng mashhur yo'nalish operatsion samaradorlik, axborot xavfsizligi sohasida Big Data hozirgi paytda kam tarqalgan. Katta ma'lumotlarni yig'ish va qayta ishlashda foydalaniladigan texnologiyalarni 3 guruhga bo'lish mumkin:
Dasturiy ta'minot;
Uskunalar;
Xizmatlar
Ma'lumotni qayta ishlashning eng keng tarqalgan usullari (dasturiy ta'minot) quyidagilarni o'z ichiga oladi:
SQL - ma'lumotlar bazalari bilan ishlashga imkon beradigan tuzilgan so'rovlar tili. SQL-dan foydalanib, siz ma'lumotlarni yaratishingiz va o'zgartirishingiz mumkin va tegishli ma'lumotlar bazasini boshqarish tizimi ma'lumotlar qatorini boshqarish uchun javobgardir.
NoSQL - atama nafaqat SQL (SQLemas) degan ma'noni anglatadi. Bu ma'lumotlar bazasini amalga oshirishga yo'naltirilgan bir qator yondashuvlarni o'z ichiga oladi, ular an'anaviy, bog’langan MBBTlarda foydalaniladigan modellardan farq qiladi. Ular doimo o'zgarib turadigan ma'lumotlar tuzilishi bilan foydalanish uchun qulaydir. Masalan, ijtimoiy tarmoqlarda ma'lumot to'plash va saqlashda.
Mapreduce - hisob-kitoblarni taqsimlash modeli. U juda katta ma'lumot to'plamlari (petabaytlar) bo'yicha parallel hisoblashlarda qo'llaniladi. Dastur interfeysida ma'lumotlar qayta ishlash uchun dasturga emas, balki dastur ma'lumotlarga uzatiladi. Shunday qilib, so'rov alohida dastur bo’lib, jarayon printsipi – ikki usulida ma'lumotlarni ketma-ket qayta ishlaydi, Map (Xarita) dastlabki ma'lumotlarni tanlaydi va Reduce ularni agregatlarini qisqartiradi
Hadoop - Facebook, eBay, Amazon va boshqalarga yuklangan saytlarni qidirish va kontekstual mexanizmlarini amalga oshirishda foydalaniladi. O’ziga xos xususiyati shundaki, tizim biron bir klaster tugunlarining ishdan chiqmasidan himoyalangan, chunki har bir blok tugunda boshqa ma'lumotlarning kamida bitta nusxasi bor.
SAP XANA - ma'lumotlarni saqlash va qayta ishlash uchun yuqori samarali NewSQL platformasi. Yuqori tezlikda so'rovlarni qayta ishlashni ta'minlaydi. Yana bir o'ziga xos jihat shundaki, SAPXANA analitik tizimlarni qo'llab-quvvatlash xarajatlarini kamaytirgan holda, tizim landshaftini soddalashtiradi. Shunindek, Big Data tegishli vositalar Hive, HBase, MapReduce, Spark RDD, Spark Streaming, SparkSQL, SparkR, MLlib, Flume, Sqoop, Oozie, Kafka, Data freymlari va GraphX vositalari bilan ishlaydi.
Texnologik uskunalar quyidagilarni o'z ichiga oladi:
serverlar
infratuzilma uskunalari.
Serverlar ma'lumotlar omborini o'z ichiga oladi.
Infratuzilma uskunalari platformani tezlashtirish vositalari, uzluksiz quvvat manbalari, server konsollari to'plamlari va boshqalarni o'z ichiga oladi.
Xizmatlar
Xizmatlar ma'lumotlar bazasi arxitekturasini yaratish, infratuzilmani tashkil qilish va optimallashtirish, ma'lumotlarni saqlashni ta'minlashni o'z ichiga oladi.
Dasturiy ta'minot, uskunalar, shuningdek xizmatlar birgalikda ma'lumotlarni saqlash va tahlil qilish uchun keng qamrovli platformani tashkil etadi. Microsoft, HP, EMC kabi kompaniyalar Big Data yechimlarini ishlab chiqish, tarqatish va ularni boshqarish bo'yicha xizmatlarni taklif qilishadi.
Assalom alaykum.
Dunyoda raqamlangan ma'lumotlar hajmi #ekponent bo'yicha o'sib bormoqda. IBS kompaniyasining ma'lumotlariga qaraganda, 2003-yilda 5 eksabayt(1 eksabayt - 1 milliard gigabayt) ma'lumot yig'ilgan ekan. 2008-yilda u 0.18 zettabayt(1 zettabayt = 1024 eksabayt) gacha, 2011-yilga kelib 1.76 zettabayt, 2013-yilda 4.4 zettabaytgacha yetibdi. 2015-yilning mayida dunyoda yig'ilgan raqamlanga ma'lumotlar hajmi 6.5 zettabaytdan oshib ketibdi. 2020-yilga kelib insoniyat 40-44 zettabayt raqamli ma'lumot hosil qilar ekan.
IBS mutaxassislarining fikriga ko'ra, 2013-yilda yig'ilgan ma'lumotlar massivining atiga 1.5%i qandaydiy axborot qiymatiga ega bo'lgan ekan. Baxtga qarshi, hozir dunyoda katta ma'lumotlarni qayta ishlash texnologiyalari bo'lib, ular yordamida juda katta ma'lumotlar massividan insonlarga kerak, qiziq bo'lgan, foydali ma'lumotlarni ajratib olish mumkin bo'ladi.
Ushbu maqolada Big Data(katta ma'lumotlar)ning 8 eng asosiy atamalari va ular haqida qisqacha tushunchalar beriladi.
Big data(katta ma'lumotlar) - juda katta hajmdagi bir jinsli bo'lmagan va tez tushadigan raqamli ma'lumotlar bo'lib, ularni odatiy usullar bilan qayta ishlab bo'lmaydi. Ba'zi hollarda, katta ma'lumotlar tushunchasi bilan birga shu ma'lumotlarni qayta ishlash ham tushuniladi. Asosan, analiz obyekti katta ma'lumotlar deb ataladi.
Big data atamasi 2008-yilda dunyoga kelgan. Nature jurnali muharriri Klifford Linch dunyo ma'lumotlar hajmining juda tez sur'atda o'sishiga bag'ishlangan maxsus sonida big data atamasini qo'llagan. Biroq, katta ma'lumotlar avval ham bo'lgan. Mutaxassislarning fikricha, kuniga 100 gb dan ko'p ma'lumot tushadigan oqimlarga big data deb aytilar ekan.
Katta ma'lumotlarni analiz qilish, inson his etish imkoniyatidan tashqarida bo'lgan qonuniylatlarni aniqlashda yordam beradi. Bu esa kundalik hayotimizdagi barcha sohalar, hukumatni boshqarish, tibbiyot, telekommunikatsiya, moliya, transport, ishlab chiqarish va boshqa sohalarni yanada yaxshilash, ularning imkoniyatlarini oshirish, muommolarga muqobil yechimlar izlab topish imkonini yaratadi.
|
| |
