|
Matematika va informatika fakulteti amaliy matematika va informatika kafedrasi
|
| bet | 6/6 | | Sana | 04.04.2023 | | Hajmi | 1.6 Mb. | | #48587 |
Bog'liq BIG DATA MUSTAQIL ISH-2022. Doc9, 1576160537, 6-sinf-barcha-chorak-uchun-matematika-test-5 (1), e`lon (1), Big data tahlili, Kompaniyalarni boshqarishdagi korporativ siyosat mazmuni maqsadi, Sillabus МТvaА uzb 2023-2024 3 tm, Tovarlar va ularning xususiyatlariMapReduce Texnologiyasi
MapReduce - bu klasterni tashkil etuvchi ko'p sonli kompyuterlar ("tugunlar" deb ataladi) yordamida taqsimlangan vazifalar to'plamini hisoblash uchun ramka.
MapReduce ishi ikki bosqichdan iborat: Map va Reduce, xuddi shu nomdagi yuqori darajadagi funksiyalar nomi bilan atalgan, xaritalash va kamaytirish.Xarita bosqichi kiritilgan ma'lumotlarni oldindan qayta ishlaydi. Buning uchun kompyuterlardan biri (asosiy tugun - asosiy tugun deb ataladi) topshiriqning kirish ma'lumotlarini oladi, uni qismlarga ajratadi va oldindan ishlov berish uchun boshqa kompyuterlarga (ishchi tugunlari - ishchi tugun) o'tkazadi. Kamaytirish bosqichida oldindan ishlangan ma'lumotlar kamayadi. Asosiy tugun ishchi tugunlardan javoblarni oladi va ular asosida natijani yaratadi - dastlab tuzilgan muammoning echimi.
MapReduce ning afzalligi shundaki, u oldindan qayta ishlash va qisqartirish operatsiyalarini taqsimlangan holda bajarish imkonini beradi. Oldindan ishlov berish operatsiyalari bir-biridan mustaqil ravishda ishlaydi va parallel ravishda amalga oshirilishi mumkin (garchi amalda bu kirish manbai va/yoki ishlatiladigan protsessorlar soni bilan cheklanadi). Xuddi shunday, bir nechta ishchi tugunlar yig'ishni amalga oshirishi mumkin - bu faqat bitta kalit qiymatiga ega bo'lgan barcha dastlabki ishlov berish natijalarini bir vaqtning o'zida bitta ishchi tugun tomonidan qayta ishlanishini talab qiladi. Garchi bu jarayon ketma-ket algoritmlarga qaraganda samarasizroq bo'lsa-da, MapReduce ko'p sonli serverlar tomonidan qayta ishlanishi mumkin bo'lgan katta hajmdagi ma'lumotlarga qo'llanilishi mumkin. Misol uchun, MapReduce bir necha soat ichida petabayt ma'lumotlarni saralash uchun ishlatilishi mumkin.
M
kirish
chiqish
apReduce texnologiyasi ishlash sistemasi
MapReduce – bosqichlari- Ko`rsatish bosqichi (Map)- hujjatlar kalit-qiymat juftliklariga bo'lingan. Yig'ish amalga oshirilishidan oldin ma'lumotlarda ko'plab dublikatlar bo'ladi. Aniqlash bosqichi (Reduce) - umuman olganda SQl ni Group By konstruktsiyasiga o'xshaydi. Turli xil noyob misollar birlashtiriladi va yig'ish funktsiyasiga qarab, turli natijalarga erishish mumkin. Bunday holda, siz har bir rangning takrorlanish sonini olishingiz kerak, shuning uchun aniqlash funktsiyasi qaytariladi. MapReduce ni haqli ravishda Big Dataning asosiy texnologiyasi deb atash mumkin, chunki. u dastlab taqsimlangan klasterlarda parallel hisoblashga qaratilgan. MapReduce-ning mohiyati ma'lumotlar massivini qismlarga bo'lishdan, har bir qismni alohida tugunda parallel ravishda qayta ishlashdan va nihoyat barcha natijalarni birlashtirishdan iborat.MapReduce-dan foydalanadigan dasturlar avtomatik ravishda parallellashtiriladi va klasterning taqsimlangan tugunlarida bajariladi, ijro etuvchi tizimning o'zi esa amalga oshirish tafsilotlari bilan shug'ullanadi (kiritilgan ma'lumotlarni qismlarga bo'lish, klaster tugunlari bo'yicha vazifalarni taqsimlash, nosozliklarni hal qilish va taqsimlangan kompyuterlar o'rtasidagi aloqa). Buning yordamida dasturchilar taqsimlangan Big Data tizimlarining resurslaridan oson va samarali foydalanishlari mumkin.Texnologiya deyarli universaldir: u veb-kontentni indekslash, katta fayldagi so'zlarni hisoblash, berilgan manzilga kirish chastotasiga qarshi turish, ma'lum bir xost-saytning har bir URL manzilidan barcha veb-sahifalar hajmini hisoblash, yaratish uchun ishlatilishi mumkin. kerakli ma'lumotlarga ega bo'lgan barcha manzillar ro'yxati va tarqatilgan ma'lumotlarning katta massivlarini qayta ishlashning boshqa vazifalari. Shuningdek, MapReduce-ni qo'llash sohalariga ma'lumotlarni taqsimlangan qidirish va saralash, veb-havola grafigini o'zgartirish, tarmoq jurnali statistikasini qayta ishlash, teskari indekslarni yaratish, hujjatlarni klasterlash, mashinani o'rganish va statistik mashina tarjimasi kiradi. MapReduce shuningdek, ko'p protsessorli tizimlar, ixtiyoriy hisoblashlar, dinamik bulut va mobil muhitlar uchun moslashtirilgan .
|
| |
