|
Kompyuter injiniring ” fakulteti Kompyuter injiniring
|
| bet | 11/27 | | Sana | 09.01.2024 | | Hajmi | 1,34 Mb. | | #132841 |
Bog'liq 2 deadline BoburjonAMALIY MASHG‘ULOT - 16
Маvzu: Hadoop arxitekturasining taqsimlangan xotirasi (HDFS) va YARN
Ishning maqsadi: O'sib borayotgan katta ma'lumotlarni saqlaydigan va tahlil qiladigan arzon, ishonchli va kengaytiriladigan tizimni ishlab chiqishdir. Hadoop arxitekturasi
Hadoop-ni loyihalashdan maqsad o'sib borayotgan katta ma'lumotlarni saqlaydigan va tahlil qiladigan arzon, ishonchli va kengaytiriladigan tizimni ishlab chiqishdir.
Hadoop arxitekturasi uchta qatlamdan iborat. Ular:
Saqlash qatlami (HDFS)
Resurslarni boshqarish qatlami (YARN)
Qayta ishlash qatlami (MapReduce)
HDFS, YARN va MapReduce Hadoop Frameworkning asosiy komponentlari hisoblanadi.
HDFS Hadoop taqsimlangan fayl tizimi bo'lib , u arzon tovar apparatida ishlaydi. Bu Hadoop uchun saqlash qatlami. HDFS-dagi fayllar ma'lumotlar bloklari deb ataladigan blok o'lchamli bo'laklarga bo'linadi.
Keyin bu bloklar klasterdagi tobe tugunlarda saqlanadi. Blok hajmi sukut bo'yicha 128 MB ni tashkil qiladi, biz uni bizning talablarimizga muvofiq sozlashimiz mumkin.
Hadoop singari, HDFS ham master-qul arxitekturasiga amal qiladi. U ikkita demondan iborat - NameNode va DataNode. NameNode - bu asosiy tugunda ishlaydigan asosiy daemon. DataNodes - bu qul tugunlarida ishlaydigan qul demoni.
NameNode
NameNode fayl tizimining metama'lumotlarini, ya'ni fayl nomlarini, fayl bloklari haqidagi ma'lumotlarni, bloklar joylashuvini, ruxsatlarni va hokazolarni saqlaydi. U Datanodelarni boshqaradi.
DataNode
DataNodes - bu haqiqiy biznes ma'lumotlarini saqlaydigan asosiy tugunlar. U NameNode ko'rsatmalari asosida mijozga o'qish/yozish so'rovlariga xizmat qiladi.
DataNodes fayllar bloklarini saqlaydi, NameNode esa bloklarning joylashuvi, ruxsatnomalar va boshqalar kabi metama'lumotlarni saqlaydi.
|
| |
