|
Yukni tekshirish jarayoni qanday amalga oshiriladi
|
| bet | 17/27 | | Sana | 09.01.2024 | | Hajmi | 1,34 Mb. | | #132841 |
Bog'liq 2 deadline BoburjonYukni tekshirish jarayoni qanday amalga oshiriladi:
Kalit maydon ma'lumotlari nolga o'rnatilmasligi yoki etishmayotgan bo'lishi kerak.
Modellashtirish ko'rinishlari maqsadli jadvallarga muvofiq sinovdan o'tkazilishi kerak.
Birlashtirilgan qiymatlarni tekshirish va hisoblangan o'lchovlarni yaratish kerak.
O'lchov va tarix jadvalidagi ma'lumotlarni tekshiradi.
BI hisobotlari yuklangan fakt va o'lchovlar jadvalini tekshirish uchun saqlanishi kerak.
Agar siz ETL jarayonini qabul qilsangiz, katta ma'lumotlarga kirish imkoniyatini tubdan yaxshilashingiz mumkin. Siz eng muhim va tegishli ma'lumotlar to'plamini to'plash orqali biznes qarorlarini qabul qilishingiz mumkin bo'ladi. Ushbu qarorlar sizning strategik va operatsion vazifalaringizga bevosita ta'sir qiladi, shu bilan birga sizga raqobatchilardan ustunlik beradi.AgarsizETLjarayoniqandayishlashihaqidako'proqbilmoqchibo'lsangiz,Simplilearn'sBigDatakursigayozilishingiz va Spark va Hadoop kabi turli xil Big Data ramkalari haqida bilib olishingiz mumkin.
Xulosa
Ushbu amaliy mashg’ulot darsligida biz Katta ma'lumotlar tizimlari va ETLga ma'lumotlarni kiritish mavzusi bilan tanishdik. ETL yordamida siz ma'lumotlar markazi, ma'lumotlar ombori yoki ma'lumotlar ko'lini qurish uchun turli manbalardan ma'lumotlarni sintez qilish mumkinligini o’rgandik.
AMALIY MASHG‘ULOT - 18
Маvzu: Taqsimlangan ishlov berish MapReduce Framework va Pig.
Ishning maqsadi: Katta ma'lumotlar to'plamlarini o'rganish uchun ishlatiladigan skript tili. Pig Lotinda yuqori darajadagi ma'lumotlarni qayta ishlash tilini taqdim etish orqali Hadoop dasturlashni soddalashtirish.
(https://www.youtube.com/watch?v=5sKuKrdoX3U)
PIG va MapReduce o'rtasidagi farqlar.
Pig - bu katta ma'lumotlar to'plamlarini o'rganish uchun ishlatiladigan skript tili. Pig Lotin - bu Hadoop kengaytmasi bo'lib, u yuqori darajadagi ma'lumotlarni qayta ishlash tilini taqdim etish orqali Hadoop dasturlashni soddalashtiradi. Pig skript sifatida biz juda oz qator kod yozish orqali funksionallikka erisha olamiz. MapReduce - bu ma'lumotlarni qayta ishlashni masshtablash uchun yechim. MapReduce bu dastur emas, bu tarqatilgan ma'lumotlarni qayta ishlash dasturlarini yozish uchun asosdir. MapReduce ramkasidan foydalangan holda yozilgan dasturlar minglab mashinalar bo'ylab muvaffaqiyatli kengaytirildi.
Pig - bu ma'lumotlar oqimi va yuqori darajali til. Pig Hadoop-dagi har qanday versiya bilan ishlaydi.
|
| |
