|
Matematika va informatika fakulteti amaliy matematika va informatika kafedrasi
|
| bet | 5/6 | | Sana | 04.04.2023 | | Hajmi | 1.6 Mb. | | #48587 |
Bog'liq BIG DATA MUSTAQIL ISH-2022. Doc9, 1576160537, 6-sinf-barcha-chorak-uchun-matematika-test-5 (1), e`lon (1), Big data tahlili, Kompaniyalarni boshqarishdagi korporativ siyosat mazmuni maqsadi, Sillabus МТvaА uzb 2023-2024 3 tm, Tovarlar va ularning xususiyatlariHadoop texnologiyasi haqida
Hadoop - bu Apache Software Foundation loyihasi bo'lib, yuzlab va minglab tugunlardan iborat klasterlarda ishlaydigan taqsimlangan dasturlarni ishlab chiqish va amalga oshirish uchun bepul tarqatiladigan yordamchi dasturlar, kutubxonalar va ramkalar to'plamidir. Ko'p yuklangan veb-saytlar, jumladan Yahoo! va Facebook[2]. Java-da MapReduce hisoblash paradigmasi doirasida ishlab chiqilgan bo'lib, unga ko'ra dastur klaster tugunlarida bajariladigan va tabiiy ravishda yakuniy natijaga qisqartiriladigan bir xil elementar vazifalarning ko'p soniga bo'lingan.2014 yil holatiga ko'ra, loyiha to'rtta moduldan iborat - Hadoop Common (o'rta dasturiy ta'minot - boshqa modullar va tegishli loyihalar uchun ishlatiladigan infratuzilma dasturiy ta'minot kutubxonalari va yordamchi dasturlar to'plami), HDFS(tarqatilgan fayl tizimi), YARN (ishlarni rejalashtirish va klasterni boshqarish tizimi) va Hadoop MapReduce (tarqatilgan MapReduce hisob-kitoblarini dasturlash va bajarish uchun platforma), ilgari Hadoop Apache Software Foundation loyiha tizimi doirasida mustaqil boʻlgan bir qator boshqa loyihalarni oʻz ichiga olgan.
Ma'lumotlar butun dunyoda keng tarqalgan. Bu katta hajmdagi ma'lumotlar Big data yoki Big Data deb ataladi va ularni oddiy saqlash qurilmalari bilan ishlash mumkin emas. Ushbu muammoni hal qilish uchun Apache Software Foundation ochiq manbali Hadoop dasturiy ta'minot tizimidan foydalanish mumkin. Big Data va Hadoop o'rtasidagi asosiy farq shundaki, Big Data - bu katta miqdordagi murakkab ma'lumotlar, Hadoop - bu katta ma'lumotlarni samarali va samarali saqlash mexanizmi. Hadoop -da ma'lumotlarni qayta ishlashning asosiy algoritmi Map Reduce deb nomlanadi. Xaritani kamaytirish dasturlari yordamida ishlarni qul tugunlariga yuborish mumkin. Xaritani qisqartirish dasturlarini yozish uchun standart til Java hisoblanadi , lekin boshqa tillardan ham foydalanish mumkin. Ma'lumot tugunlari yoki qul tugunlari tahlil vazifasini bajaradi va natijani asosiy tugunga/ism-tugunga qaytaradi. Master-tugun/ism-tugunida xaritani ishga tushirish uchun ish kuzatuvchisi mavjud bo'lib, u qul tugunlaridagi ishlarni kamaytiradi. Qul tugunlari/ma'lumotlar tugunlarida ma'lumotlarni tahlil qilishni yakunlash va natijani asosiy tugunga qaytarish uchun vazifa kuzatuvchisi mavjud.
Katta ma'lumotlar va Hadoop o'rtasidagi farq nima?
Ma'lumotlar tez o'sib bormoqda. Hamma hukumat va tijorat tashkilotlari ma'lumotlarni yig'ishmoqda. Ma'lumotni tahlil qilish juda qimmatlidir. Katta hajmdagi ma'lumotlarni saqlash uchun bitta kompyuter etarli emas. Bu katta miqdordagi murakkab ma'lumotlar Katta ma'lumotlar deb ataladi. Shunday qilib, katta ma'lumotlarni Hadoop yordamida ba'zi tugunlar orasida tarqatish mumkin. Big Data va Hadoop o'rtasidagi farq shundaki, Katta ma'lumotlar - bu katta hajmdagi murakkab ma'lumotlar va Hadoop - Katta ma'lumotlarni samarali va samarali saqlash mexanizmi.
|
| |
