|
Taqsimlangan hisoblash tizimlari va texnologiyalari. Apache Hadoop va Apache Spark
|
| Sana | 25.01.2023 | | Hajmi | 15.49 Kb. | | #39470 |
Bog'liq Abdullayev Tezis 3 grammar worksheets, 8-bob, ELEKTR, 1-10 uzb, 1204406, 4-Tema, HISOBOTI MAGISTR, 10 Informatika JavoblarUZB 10, 7-mavzu. Ekonometrik modellarni baholash, nazariy-o-qitishning-zamonaviy-usullarining-mazmuni-va-tuzilmasi, Kurs ishi yuzi, TARMOQDA MA’LUMOTLARNI XAVFSIZLIGI Raxmatilloyev Xurshidbek, Tayor Tarmoqlar – maqsad va vazifalar, 49-51
Taqsimlangan hisoblash tizimlari va texnologiyalari.
Apache Hadoop va Apache Spark
Abdullayev Husanboy Kamoladdinovich
(Muhammad al-Xorazmiy nomidagi Toshkent Axborot Texnologiyalari Universiteti Urganch filiali magistranti)
3-sho’ba: IoT texnologiyasi, katta hajmli ma’lumotlar va ularni qayta ishlash uchun mashinali o‘qitish texnologiyalari
+998907131223, husanboy1223@gmail.com
Annotatsiya: Ushbu tezisda parallel va taqsimlangan hisoblash jarayonlari haqida ma’lumot berilgan va ularning tizimlari orasida keng tarqalgan Apache Hadoop va Apache Spark solishtirilgan.
Kalit so’zlar: Parallel hisoblash jarayoni, taqsimlangan hisoblash jarayoni, Apache Hadoop, Apache Spark.
Kirish. Tegishli vositalar, freymvorklar va texnologiyalarsiz katta hajmli ma’lumotlar murakkab, ko’p vaqt va hisoblashlar talab qiladigan shaklga ega bo’ladi. Bitta mashinada ishlov berish va tahlil qilish uchun ma’lumot hajmi juda yuqori bo'lganda, ushbu vazifani parallel va taqsimlangan hisoblash jarayonlari orqali Apache Spark va Apache Hadoop texnologiyalari orqali bajarish mumkin. Katta hajmli ma'lumotlar tahlilida parallel va taqsimlangan hisoblash jarayonlari zarurligini tushunish uchun birinchi navbatda "katta hajmli ma'lumotlar"ni tushunish muhimdir. Katta hajmli ma’lumotlar 3 ta xususiyatga ega: katta tezlik, katta hajm, xilma-xillik. Katta tezlik shuni anglatidiki, katta hajmli ma’lumotlar juda tez yig’iladi va ularning shakli turli xil: strukturalangan, yarim-strukturalangan va strukturalanmagan bo’ladi. Shu uchta xususiyat katta hajmli ma’lumotlarni yig’ish, saqlash va qayta ishlashni qiyinlashtiradi va yangi texnologiyalarni ishlab chiqishni talab qiladi. Shuning uchun Apache kompaniyasi Hadoop va Spark texnologiyalarini taklif etdi va ishlab chiqdi.
Parallel va taqsimlangan hisoblash jarayonlarini tushunish Apache Hadoop va Apache Spark texnologiyalarining katta hajmli ma’lumotlar tahlilida qanday ishlatilishini tushunishga yordam beradi. Ikkala jarayon ham hisoblashni kichik qismlarga bo’lib amalga oshirgani uchun, ular orasidagi farqni tushunish biroz qiyin. Parallel va taqsimlangan hisoblashlar orasidagi farq xotira arxitekturasida.
Parallel hisoblash jarayoni masalani yechish uchun bir vaqtda birdan ortiq protsessordan foydalanadi, taqsimlangan hisoblash jarayoni esa masalani yechish uchun bir vaqtda birdan ortiq komputerdan foydalanadi.
Apache Hadoop va Apache Spark katta hajmli ma’lumotlar tahlili uchun ochiq manbali freymvorklar bo’lib, bir nechta farqlarga ega.
|
| |
