|
Kompyuter injiniring ” fakulteti Kompyuter injiniring
|
| bet | 13/27 | | Sana | 09.01.2024 | | Hajmi | 1,34 Mb. | | #132841 |
Bog'liq 2 deadline Boburjon2.DataNode?
DataNodes ma'lumotlarni Hadoop klasterida saqlaydi va ma'lumotlarni boshqaradigan demon nomidir. Fayl ma'lumotlari ishonchliligi uchun bir nechta DataNodelarda takrorlanadi va ma'lumotlar yaqinida mahalliylashtirilgan hisoblash amalga oshirilishi mumkin.
Klaster ichida DataNodes bir xil bo'lishi kerak. Agar ular bir xil bo'lmasa, muammolar paydo bo'lishi mumkin. Masalan, xotirasi kamroq bo'lgan DataNodelar ko'proq xotiraga ega DataNodelarga qaraganda tezroq to'ldiriladi, bu esa ishda muvaffaqiyatsizlikka olib kelishi mumkin.
Muhim
HDFS uchun standart replikatsiya omili uchtadir. Ya'ni, ma'lumotlarning uchta nusxasi doimo saqlanadi. Cloudera kamida uchta DataNodega ega bo'lganingizda pastroq replikatsiya faktorini sozlamaslikni tavsiya qiladi. Pastroq replikatsiya omili ma'lumotlarning yo'qolishiga olib kelishi mumkin.
NameNode muvaffaqiyatsiz DataNode bloklarini qanday boshqaradi
DataNode belgilangan vaqtdan so'ng yurak urishisiz o'lik hisoblanadi (sukut bo'yicha 10,5 daqiqa).
DataNode-ni olib tashlang
DataNode-ni o'chirishdan oldin, o'chirish uchun barcha shartlar bajarilganligiga ishonch hosil qiling.
Cloudera Manager yordamida saqlash kataloglarini qo'shing
Cloudera Manager yordamida yangi saqlash katalogini qo'shishingiz va saqlash turini belgilashingiz mumkin.
Cloudera Manager yordamida saqlash kataloglarini olib tashlang
Mavjud saqlash kataloglarini olib tashlash va yangi kataloglarni belgilash uchun Cloudera Manager-dan foydalanishingiz mumkin.
3.NodeManager nima?
IOTA Node Manager sizga yo'lda bir nechta IOTA Hornet/Bee tugunlarini boshqarish imkonini beradi!
U quyidagi funksiyalarga ega:
- Bir nechta tugunlarni qo'shing va ular o'rtasida osongina almashing
- Har bir tugunning holatini kuzatib boring va turli ko'rsatkichlarni ko'ring
- Eng so'nggi bosqichlarni kashf eting va tegishli xabarlarga chuqur kirib boring
- Har bir tugundagi tengdoshlaringizni boshqaring
Xulosa
Ushbu amaliy mashg’ulot darsligida biz Hadoop arxitekturasining taqsimlangan
xotirasi (HDFS) va YARN mavzusi bilan tanishdik.
O'sib borayotgan katta ma'lumotlarni saqlaydigan va tahlil qiladigan arzon, ishonchli va kengaytiriladigan tizimni ishlab chiqishini o’rgandik. Hadoop arxitekturasi haqida tushuncha oldik.
|
| |
