|
Kompyuter injiniring ” fakulteti Kompyuter injiniring
|
| bet | 19/27 | | Sana | 09.01.2024 | | Hajmi | 1,34 Mb. | | #132841 |
Bog'liq 2 deadline BoburjonPIG ni kim ishlatadi
Hadoop-ning eng og'ir foydalanuvchilaridan biri bo'lgan Yahoo barcha Hadoop ishlarining 40 foizini cho'chqada boshqaradi.
Twitter ham Pig-ning yana bir taniqli foydalanuvchisidir
MapReduce
Ilgari tobora kattaroq ma'lumotlar to'plamini qayta ishlash muammo edi. Sizning barcha ma'lumotlaringiz va hisob-kitoblaringiz bitta mashinaga mos kelishi kerak edi. Ko'proq ma'lumot ustida ishlash uchun siz kattaroq va qimmatroq mashina sotib olishingiz kerak edi.
Xo'sh, bitta mashinada texnik yoki moliyaviy jihatdan mumkin bo'lmaganda, katta hajmdagi ma'lumotlarni qayta ishlashning qanday echimi bor?
MapReduce - bu ma'lumotlarni qayta ishlashni masshtablash uchun yechim.
MapReduce 3 bosqich/bosqichga ega:
Quyidagi amallar ketma-ketlikda bajariladi.
HDFS fayl tizimidan kirish.
Aralashtiring va tartiblang
Aralashtirish va saralash uchun kiritish mapperning chiqishi hisoblanadi
Reduktorga kirish aralashtirish va saralash uchun chiqariladi.
MapReduce ma'lumotlarni faqat kalit-qiymat kombinatsiyasi nuqtai nazaridan tushunadi.
Xarita bosqichining asosiy maqsadi barcha kiritilgan ma'lumotlarni o'qish va ularni o'zgartirish yoki filtrlashdir. O'zgartirilgan yoki filtrlangan ma'lumotlar qisqartirish bosqichida biznes mantig'i bo'yicha qo'shimcha tahlil qilinadi, ammo qisqartirish bosqichi qat'iy talab qilinmaydi.
Kamaytirish bosqichining asosiy maqsadi savolga javob berish va muammoni hal qilish uchun biznes mantig'idan foydalanishdir.
PIG va MapReduce o'rtasidagi taqqoslash (Infografika)
Quyida PIG va MapReduce o'rtasidagi eng yaxshi 4 ta taqqoslash mavjud:
Xulosa
Ushbu amaliy mashg’ulot darsligida biz Taqsimlangan ishlov berish MapReduce Framework va Pig mavzusi bilan tanishdik.Katta ma'lumotlar to'plamlarini o'rganish uchun ishlatiladigan skript tili. Pig Lotinda yuqori darajadagi ma'lumotlarni qayta ishlash tilini taqdim etish orqali Hadoop dasturlashni soddalashtirishni o’rgandik.
|
| |
