|
Apache Hadoop va Spark: Ma'lumotlarni tahlil qilish uchun kirish va foydalanish holatlari Abdullayev Jasurbek kontur
|
| bet | 5/12 | | Sana | 25.03.2023 | | Hajmi | 24.83 Kb. | | #46614 |
Bog'liq Apache Hadoop and Spark Introduction and Use Cases for Data Ana-fayllar.org 5-SINF Tarix-converted, Mektep sabaqliqlari MB, №3 Amaliy ishi Mavzu Klaster tizimlarini o’rganish Ishdan maqsa, “Operatsiyalar-operandlar” grafigi ko’rinishidagi hisoblash mode, shaxs son zamon kategoriya, husnixat 2, 2-SINF Jismoniy tarbiya, portal.guldu.uz-madaniyat iqtisodiyoti-1, Inf.tex.loyihalashtirish test, Dasturiy mahsulotlarning tasnifi, 7-sinf Matematika 1-ChSB demo (Umumta lim), Ixtisosliklar kesimida, 2-ma\'ruza media va AC ta\'limi, Ma\'ruzalar matni-КРЕДИТ 1-ҚИСМ
An'anaviy RDBM (Relational Database Model) kabi yaxshi emas
Matn uchun samarali emas qidirish va qayta ishlash
Katta ma'lumotlar uchun oddiy dasturlash
Hadoop ekotizimining oddiy dasturlash paradigmasi
An'anaviy parallel dasturlash turli xil hisoblash/tizim tushunchalari bo'yicha tajribani talab qiladi
Misollar : ko'p oqimlar, sinxronizatsiya mexanizmlari (qulflar, semaforlar va monitorlar)
noto'g'ri foydalanish: dasturni buzishi, noto'g'ri natijalarga erishishi yoki ishlashga jiddiy ta'sir qilishi mumkin
Odatda apparatdagi nosozliklarga toqat qilmaydi
MapReduce dasturlash modeli parallel ravishda ishlaydigan kodni ancha soddalashtiradi
Google MR qog'ozi asosida (2004)
Xaritani qisqartirish paradigmasi
Funktsiyani qo'llash xaritasi:
Ro'yxatning barcha elementlariga funktsiyani qo'llash
list1=[1,2,3,4,5];
kvadrat x = x * x
list2=Xarita kvadrati(roʻyxat1)
chop ro'yxati 2
-> [1,4,9,16,25]
|
kamaytirish:
Xulosa qilish uchun ro'yxatning barcha elementlarini birlashtiring
list1 = [1,2,3,4,5];
A = qisqartirish (+) ro'yxat1
Chop etish A
-> 15
|
Map va Reduce funktsional dasturlashga asoslangan
Kiritish
Chiqish
Xarita
Kamaytirish
MapReduce so'zlarni hisoblash misoli
tugun
Xarita
fayl
A
B
C
D
tugun
Xarita
A
tugun
Xarita
tugun
Xarita
B
C
D
tugun
Kamaytirish
tugun
Kamaytirish
F
tugun
Kamaytirish
tugun
Kamaytirish
E
G
H
Aralash
&
Saralash
Men S _
Sem men
(I,1)
(am, 1)
(Sam, 1)
(I,1)
(am, 1)
(Sam, 1)
(I,2)
(am, 2)
(Sam, 2)
(…,..)
(..,..)
………
………
|
| |
