|
Intellektual tizimlar va kompyuter texnalogiyalari fakulteti dasturiy injinering yo
|
| bet | 1/2 | | Sana | 12.04.2024 | | Hajmi | 20.8 Kb. | | #193506 |
Bog'liq mustaqiil ish Рамка, metodichka, Mustaqil ishi mavzu Darsdan tashqari musiqa tarbiyasining turla-fayllar.org, Choriyev Quvonchbek docx, Xulosa, Mavzu 5. talab va taklif (2), Talab va taklif elastikligi va unga ta, 1 What are computer networks explain, Я НГИ ММТБ Фирменный бланка, 11-12 Лекция, \'10.04.2020y-C da funksiyalar, Философия 14-тема, Laboratoriya 1-Mavzu Zamonaviy matn redaktorlari, Ma\'lumotlar bazasini dasturlash chuqurlashtirilgan kursi (Sh.Nazirov va b.)
SAMARQAND DAVLAT UNIVERSITETI
INTELLEKTUAL TIZIMLAR VA KOMPYUTER
TEXNALOGIYALARI FAKULTETI
DASTURIY INJINERING YO’NALISHI
404 - GURUH TALABASI
NORMO’MINOVA NAZOKATNING
BULUTLI TEXNOLOGIYALAR FANIDAN
MUSTAQIL
ISHI
TEKSHIRDI : Aminov I.B.
SAMARQAND 2024
MapReduce va Apache Hadoop platformalarida bulutli tizimlarming rivojlanishi.
MapReduce — Google tomonidan taqdim etilgan taqsimlangan hisoblash modeli boʻlib, u kompyuter klasterlarida juda katta, bir necha petabayt [1] gacha boʻlgan maʼlumotlar toʻplamlarida parallel hisoblash uchun foydalaniladi .
MapReduce - bu klasterni tashkil etuvchi ko'p sonli kompyuterlar ("tugunlar" deb ataladi) yordamida ba'zi taqsimlangan vazifalar to'plamini hisoblash uchun ramka .
MapReduce ishi ikki bosqichdan iborat: Map va Reduce, xuddi shu nomdagi yuqori darajali funksiyalar nomi bilan atalgan , map va reduce .
Xarita bosqichi kiritilgan ma'lumotlarni oldindan qayta ishlaydi. Buning uchun kompyuterlardan biri (bosh tugun deb ataladi) topshiriqning kirish ma'lumotlarini oladi, uni qismlarga ajratadi va oldindan ishlov berish uchun boshqa kompyuterlarga (ishchi tugunlarga) o'tkazadi.
Qisqartirish bosqichida oldindan ishlangan ma'lumotlar yig'iladi . Asosiy tugun ishchi tugunlardan javoblarni oladi va ular asosida natijani yaratadi - dastlab tuzilgan muammoning yechimi.
MapReduce ning afzalligi shundaki, u oldindan qayta ishlash va qisqartirish operatsiyalarini taqsimlangan holda bajarishga imkon beradi. Oldindan ishlov berish operatsiyalari bir-biridan mustaqil ravishda ishlaydi va parallel ravishda amalga oshirilishi mumkin (garchi amalda bu kirish ma'lumotlar manbai va/yoki ishlatiladigan protsessorlar soni bilan cheklangan bo'lsa ham). Xuddi shunday, bir nechta ishchi tugunlar konvolyutsiyani amalga oshirishi mumkin, agar ma'lum bir kalit qiymatiga ega bo'lgan barcha dastlabki ishlov berish natijalari bir vaqtning o'zida bitta ishchi tugun tomonidan qayta ishlanadi. Jarayon ketma-ket algoritmlarga qaraganda kamroq samarali bo'lishi mumkin bo'lsa-da, MapReduce ko'p sonli serverlar tomonidan qayta ishlanishi mumkin bo'lgan katta hajmdagi ma'lumotlarga qo'llanilishi mumkin. Misol uchun, MapReduce bir necha soat ichida petabayt ma'lumotlarni saralash uchun ishlatilishi mumkin. Parallelizm shuningdek, qisman server nosozliklarini tiklashni ta'minlaydi: agar oldindan ishlov berish yoki siqilish operatsiyasini bajaruvchi ishchi tugun muvaffaqiyatsizlikka uchrasa, uning ishi boshqa ishchi tugunga o'tkazilishi mumkin (operatsiya uchun kirish ma'lumotlari mavjud bo'lsa).
Ramka ko'p jihatdan xaritaga asoslangan va funktsional dasturlashda keng qo'llaniladigan funktsiyalarni qisqartiradi , garchi ramkaning haqiqiy semantikasi prototipdan farq qilsa-da.
MapReduce bilan yozilgan ilovaning kanonik misoli hujjatlar to'plamida turli so'zlar necha marta paydo bo'lishini hisoblaydigan jarayondir:
// Xarita bosqichida ishchi tugunlar tomonidan foydalaniladigan funktsiya
// kirish oqimi
void map(String name, String document):
// Kirish ma'lumotlari:
// nom - hujjat nomi
// hujjat - hujjat mazmuni
for each word in document:
EmitIntermediate(word, "1");
// Xarita bosqichida olingan kalit-qiymat juftlarini qayta ishlash uchun // Reduce qadamida ishchi tugunlar tomonidan ishlatiladigan funktsiya
void reduce(Iterator partialCounts):
// partialCounts - guruhlangan oraliq natijalar ro'yxati. PartialCounts-dagi yozuvlar soni
// kerakli qiymat
int result = 0;
for each v in partialCounts:
result += parseInt(v);
Emit(AsString(result));
Ushbu kodda Xarita qadami har bir hujjatni so'zlarga ajratadi va kalit so'zning o'zi va qiymati "1" bo'lgan juftlarni qaytaradi. Agar hujjatda bir xil so'z bir necha marta uchrasa, u holda ushbu hujjatni dastlabki qayta ishlash natijasida ushbu so'z qancha marta paydo bo'lsa, bu juftlik soni bir xil bo'ladi. Yaratilgan juftliklar keyingi qayta ishlash uchun yuboriladi, tizim ularni kalit bo'yicha guruhlaydi (bu holda kalit so'zning o'zi) va ularni bir nechta protsessorlar bo'ylab tarqatadi. Guruhdagi bir xil kalitga ega bo'lgan ob'ektlar to'plami ma'lumotlar oqimini qayta ishlovchi, uning hajmini kamaytiradigan kamaytirish funktsiyasining kirishiga o'tadi. Ushbu misolda qisqartirish funktsiyasi berilgan so'zning butun oqim bo'ylab takrorlanishini qo'shadi va natija - faqat bitta summa - chiqish sifatida yuboriladi.
|
| |
