|
Apache Hadoop va Spark: Ma'lumotlarni tahlil qilish uchun kirish va foydalanish holatlari Abdullayev Jasurbek kontur
|
| bet | 8/12 | | Sana | 25.03.2023 | | Hajmi | 24.83 Kb. | | #46614 |
Bog'liq Apache Hadoop and Spark Introduction and Use Cases for Data Ana-fayllar.org 5-SINF Tarix-converted, Mektep sabaqliqlari MB, №3 Amaliy ishi Mavzu Klaster tizimlarini o’rganish Ishdan maqsa, “Operatsiyalar-operandlar” grafigi ko’rinishidagi hisoblash mode, shaxs son zamon kategoriya, husnixat 2, 2-SINF Jismoniy tarbiya, portal.guldu.uz-madaniyat iqtisodiyoti-1, Inf.tex.loyihalashtirish test, Dasturiy mahsulotlarning tasnifi, 7-sinf Matematika 1-ChSB demo (Umumta lim), Ixtisosliklar kesimida, 2-ma\'ruza media va AC ta\'limi, Ma\'ruzalar matni-КРЕДИТ 1-ҚИСМRDDlar va boshqalar. DataFrames _
RDDlar Spark-ga past darajadagi interfeysni ta'minlaydi
DataFrames sxemasiga ega
DataFrames keshlangan va Spark tomonidan optimallashtirilgan
DataFrames RDD va asosiy Spark API ustiga qurilgan
Misol: ishlash
Transformatsiyalar
(yangi RDD yaratish)
|
xarita
filtr
namuna
groupByKey
kamaytirishByKey
sortByKey
chorraha
|
flatMap
ittifoq
qo'shilish
guruh
xarita qiymatlarini kesib o'tish
kamaytirishByKey
|
Harakatlar
(natijalarni haydovchi dasturiga qaytarish)
|
birinchi yig'ing olishni kamaytiring
Buyurtma berilgan
Namuna oling countByKey saqlaydi
qidiruv kaliti har biriga
| | Yo'naltirilgan asiklik grafiklar (DAG)
A
B
S
C
E
D
F
DAGlar bog'liqliklarni kuzatib boradi (shuningdek, Lineage sifatida ham tanilgan )
tugunlar RDD hisoblanadi
a satrlar transformatsiyalardir
A.1
A[1,2]
A.2
Tor
Keng
Xarita
groupByKey
Vs.
Harakatlar
Harakat nima
Spark ish jarayoni
tekis xarita
Xarita
groupbyKey
Spark konteksti
Haydovchi dasturi
Yig'ish
|
| |
