|
PIG ning tarkibiy qismlari
|
| bet | 18/27 | | Sana | 09.01.2024 | | Hajmi | 1,34 Mb. | | #132841 |
Bog'liq 2 deadline BoburjonPIG ning tarkibiy qismlari:
Pig lotin - ma'lumotlar oqimini ifodalash uchun ishlatiladigan til
Pig Engine - Hadoop tepasida joylashgan dvigatel
PIG ning afzalliklari
Foydalanuvchilarning Hadoop-ni sozlash zaruriyatini yo'q qiladi • Foydalanuvchilarni Hadoop interfeysidagi o'zgarishlardan himoya qiladi.
Hosildorlikning oshishi.
Bitta testda 10 qator Pig Lotin ≈ 200 qator Java
Java-da yozish uchun 4 soat kerak bo'lgan narsa Pig lotin tilida taxminan 15 daqiqa davom etadi
Java bo'lmagan dasturchilar uchun ochiq tizim
Agar biz HIVE va PIG haqida bilsak, Hadoop versiyasiyuqoriroq versiyaga yangilangan bo'lsa, kod haqida qayg'urishga hojat yo'q .
Masalan: agar Hadoop versiyasi 2.6 bo'lsa, u 2.7 ga yangilanadi. PIG har qanday versiyada qo'llab-quvvatlaydi, bu kod yuqori versiyalarda ishlaydimi yoki yo'qmi, tashvishlanishga hojat yo'q.
PIG xususiyatlari
Pig lotin tili maʼlumotlar oqimi tilidir
Ma'lumotlar turlarini qo'llab-quvvatlaydi - long, float, char massivi, sxemalar va funktsiyalar
Kengaytirilishi mumkin va foydalanuvchi tomonidan aniqlangan funktsiyalarni qo'llab-quvvatlaydi
Metadata talab qilinmaydi, lekin mavjud bo'lganda foydalaniladi
HDFS-dagi fayllarda ishlaydi
JOIN, GROUP, FILTER, SORT kabi umumiy operatsiyalarni ta'minlaydi
PIG foydalanish stsenariysi
Weblogni qayta ishlash
Veb-qidiruv platformalari uchun ma'lumotlarni qayta ishlash
Katta ma'lumotlar to'plamlari bo'ylab maxsus so'rovlar
Katta ma'lumotlar to'plamlarini qayta ishlash algoritmlarini tezkor prototiplash
|
| |
