YARN
YARN yana bir resurs muzokarachisi degan ma'noni anglatadi . Bu Hadoop-ning resurslarni boshqarish qatlami. U Hadoop 2 da taqdim etilgan.
YARN ishni rejalashtirish va resurslarni boshqarish funktsiyalarini alohida demonlarga bo'lish g'oyasi bilan yaratilgan. Asosiy g'oya global ResourceManager va dastur ustasiga ega bo'lishdir, bunda dastur bitta ish yoki ishlarning DAG bo'lishi mumkin.
YARN ResourceManager, NodeManager va har bir ilova uchun
ApplicationMaster-dan iborat.
Nazorat savollari.
NameNode?
NameNode HDFS fayl tizimining markaziy qismidir. U fayl tizimidagi barcha fayllarning katalog daraxtini saqlaydi va fayl ma'lumotlari klaster bo'ylab qayerda saqlanishini kuzatadi. U ushbu fayllarning ma'lumotlarini o'zi saqlamaydi.
Mijoz ilovalari faylni topish yoki faylni qo'shish/nusxalash/ko'chirish/o'chirishni xohlagan vaqtda NameNode bilan gaplashadi. NameNode muvaffaqiyatli so'rovlarga ma'lumotlar yashaydigan tegishli DataNode serverlari ro'yxatini qaytarish orqali javob beradi.
NameNode HDFS klasteri uchun yagona nosozlik nuqtasidir. HDFS hozirda yuqori darajadagi mavjud tizim emas. NameNode ishlamay qolganda, fayl tizimi oflayn rejimga o'tadi. Alohida kompyuterda joylashtirilishi mumkin bo'lgan ixtiyoriy SecondaryNameNode mavjud. U faqat tahrirlash faylini fsimage fayliga birlashtirish orqali nomlar maydonining nazorat nuqtalarini yaratadi va hech qanday haqiqiy ortiqchalikni ta'minlamaydi. Hadoop 0.21+ da HA nomi xizmatiga ega boʻlish rejasining bir qismi boʻlgan BackupNameNode mavjud, ammo uni yuqori darajada mavjud qilish uchun uni istagan odamlarning (yaʼni siz) faol hissasi kerak.
NameNode-ga g'amxo'rlik qilish juda muhimdir. Bu erda ishlab chiqarishdan foydalanish bo'yicha ba'zi tavsiyalar mavjud
Ko'p RAMga ega yaxshi serverdan foydalaning. Qanchalik ko'p operativ xotira bo'lsa, fayl tizimi shunchalik katta bo'ladi yoki blok hajmi shunchalik kichik bo'ladi.
ECC RAMdan foydalaning.
Java6u15 yoki undan keyingi versiyalarida JVM to'plami hajmini qisqartirish uchun siqilgan ko'rsatkichlar -XX:+UseCompressedOops bilan VM serverini ishga tushiring.
Konfiguratsiyada bir nechta nomli tugun katalogini kiriting, shunda fayl tizimi meta-ma'lumotlarining bir nechta nusxalari saqlanadi. Kataloglar alohida disklarda ekan, bitta diskdagi nosozlik meta-ma'lumotlarni buzmaydi.
NameNode-ni bitta tranzaktsiyalar jurnalini tasvirdan alohida diskda saqlash uchun sozlang.
NameNode-ni tarmoqqa o'rnatilgan diskda tranzaksiya jurnallarining boshqa to'plamini saqlash uchun sozlang.
NameNode uchun mavjud disk maydonini kuzatib boring. Boʻsh joy kamayib borayotgan boʻlsa, qoʻshimcha xotira qoʻshing.
DataNode, JobTracker yoki TaskTracker xizmatlarini bir xil tizimda joylashtirmang.
Agar NameNode ishga tushmasa, Nosozliklarni bartaraf etish sahifasiga qarang.
|
