2. NameNode
NameNode fayl tizimining metama'lumotlarini, ya'ni fayl nomlarini, fayl bloklari haqidagi ma'lumotlarni, bloklar joylashuvini, ruxsatlarni va hokazolarni saqlaydi. U Datanodelarni boshqaradi. NameNode-ning asosiy maqsadi Hadoop infratuzilmasida HDFS metama'lumotlarini boshqarishdir. Endi HDFS to'g'ri ishlamasdan Hadoop bilan NameNode ishlovini ko'rib chiqamiz. NameNode uchun asosiy vazifalardan biri ochiq bo'lib qoladi, shuning uchun biz uni tabiiy ravishda ishonchliroq ma'lumotlar tugunlari bo'lishi kerak bo'lgan mashinaga o'rnatishimiz mumkin bo'lgan ishlov berish rejalashtiriladi. Bizning tushishimiz haqidagi ma'lumot bo'lgan metama'lumotlar bir tekis va bu NameNode bilan ishlaydigan mashinada ular juda ko'p RAMga ega bo'lishi kerak, chunki MetaMa'lumotlar RAMda saqlanadi. NameNode mashinasida juda ko'p RAM borligiga ishonch hosil qiling.
3. DataNode
DataNodes - bu haqiqiy biznes ma'lumotlarini saqlaydigan asosiy tugunlar. U NameNode ko'rsatmalari asosida mijozga o'qish/yozish so'rovlariga xizmat qiladi.
DataNodes fayllar bloklarini saqlaydi, NameNode esa bloklarning joylashuvi, ruxsatnomalar va boshqalar kabi metama'lumotlarni saqlaydi.
4. NodeManager:
NodeManager tobe tugunlarda ishlaydi. U konteynerlar uchun mas'uldir, protsessor, xotira, disk, tarmoqdan foydalanish kabi mashina resurslaridan foydalanishni nazorat qiladi va ResourceManager yoki Scheduler-ga hisobot beradi.
ApplicationMaster:
Har bir dastur uchun ApplicationMaster - bu ramka uchun maxsus kutubxona. U ResourceManagerdan resurslarni muhokama qilish uchun javobgardir. U topshiriqlarni bajarish va monitoring qilish uchun NodeManager(lar) bilan ishlaydi.
Nazorat savollari
Apache Hive?
JDBC drayveri mijoz vazifasi nimadan iborat?
Tarmoq arxitekturasi nima?
Ish stantsiyalaridan qaysi biri keyingi aloqa kanalidan foydalanishi mumkinligini aniqlash usuli qanday nomlanadi?
Tarmoqlardan foydalanishning afzalliklarini sanab o'ting.
JAVOB
Apache Hive keng miqyosda tahlil qilish imkonini beruvchi taqsimlangan, xatolarga chidamli ma'lumotlar ombori tizimidir. Hive Metastore (HMS) ma'lumotlarga asoslangan qarorlar qabul qilish uchun osongina tahlil qilinishi mumkin bo'lgan metama'lumotlarning markaziy omborini taqdim etadi va shuning uchun u ko'plab ma'lumotlar ko'li arxitekturalarining muhim tarkibiy qismidir.
2.JDBC mijozi
JDBC drayveri mijoz tomonidan HS2 bilan o’zaro aloqada bo’lishi uchun tavsiya etiladi. E’tibor bering, ba’zi foydalanish holatlari mavjud (masalan, Hadoop Hue ), bu erda Thrift mijozi to’g’ridan-to’g’ri ishlatiladi va JDBC chetlab o’tiladi.
Birinchi so’rovni amalga oshirish uchun API qo’ng’iroqlari ketma-ketligi:
JDBC mijozi (masalan, Beeline) transport ulanishini (masalan, TCP ulanishi) boshlash orqali HiveConnection ni yaratadi va undan keyin SessionHandle ni olish uchun OpenSession API chaqiruvini yaratadi. Seans server tomonidan yaratilgan.
HiveStatement bajariladi (JDBC standartlariga muvofiq) va ExecuteStatement API chaqiruvi Thrift mijozidan amalga oshiriladi. API chaqiruvida SessionHandle ma’lumotlari so’rov ma’lumotlari bilan birga serverga uzatiladi.
HS2 serveri so’rovni qabul qiladi va drayverdan (bu buyruq protsessor) so’rovlarni tahlil qilish va kompilyatsiya qilishni so’raydi. Haydovchi Hadoop bilan gaplashadigan fon ishni boshlaydi va keyin darhol mijozga javob qaytaradi. Bu ExecuteStatement API asinxron dizayni. Javobda server tomonidan yaratilgan OperationHandle mavjud.
Mijoz so’rovning bajarilishi holatini so’rash uchun HS2 bilan gaplashish uchun OperationHandle-dan foydalanadi.
3. Tarmoq arxitekturasi deganda - bu kompyuter tarmog’ini loyihalash va ishlab chiqish jarayoni tushunialadi. Arxitektura tushunchasi tarmoqning fizik tarkibiy qismlarini, ularning funktsional ob’ektlari, konfiguratsiyasini, printsiplari va ishlash tartiblarini va foydalaniladigan aloqa protokollarini aniqlashni ifodalaydi. Shuningdek, tarmoq arxitekturasi aloqa tarmog’i orqali taqdim etiladigan xizmatlar va ularning batafsil tavsiflarini, taqdim etiladigan xizmatlarni hisob-kitob qilish va hisob-kitob tuzilmalarini o'z ichiga oladi.
Kompyuter tarmoqlari arxitekturasi deganda kompyuterlarni o’zaro bog’lanishi, bog’lanish jarayonida qo’llaniladigan texnologiyalar, ularning xususiyalatlari, standartlari, kompyuterlar o'rtasida vazifalar qanday taqsimlanganligi va boshqa ko’plab jarayonlar tushuniladi. Tarmoq arxitekturasining eng ko'p ishlatiladigan ikki turi mavjud: peer-to-peer va mijoz-server.
Global miqyosidagi kompyuter tarmoqlarining o’zaro bog’lanishi natijasida Internet tarmog’i tashkil topadi. Internet tarmog'ining arxitekturasi, avvalambor, tarmoqdagi tugunlarni yoki tugunlarni ulash uchun ma'lum bir modelda yoki apparat ulanishlarining ma'lum turlarida foydalanishda emas, balki Internet protokollari (TCP/IP) arxitekturasidan foydalanishni ifodalaydi. Shunday qilib har bir texnologiya orqali loyihalashtiriladigan tarmoq o’zining arxitekturasiga ega bo’ladi, masalan, OSI, TCP/IP, umumfoydalanish telefon tarmog’i, mobil aloqa tarmoqlari va boshqalari. Ushbu ma’ruzada kompyuter tarmoqlarining arxitekturalari muhokama etiladi.
4. Spectr analizi" yoki "frekans analizi" deb nomlangan usul orqali ish stantsiyalaridan qaysi biri keyingi aloqa kanalidan foydalanishi mumkinligini aniqlash mumkin. Bu usul, bir stantsiyadan chiqqan aloqa signalining spektrini o'rganish yoki analiz qilishni o'z ichiga oladi. Spectr analizi bilan, har bir signalning energetik spektri ko'rsatiladi va bu spektr stantisiyaning ishlash tartibini, aloqa kanalini va boshqa parametrlarni tushuntirishga yordam beradi.
Spectr analizi, radiofrekans (RF) muhitida aloqa tizimlari, telekommunikatsiya tizimlari, wifi, Bluetooth, cellular aloqa, va boshqa texnologiyalarda aloqa tarmog'i va boshqa frekanslar bilan bog'liq dasturlar bo'yicha qo'llaniladi. Bu usul, har bir aloqa tizimining spektrini tushuntirish, kuzatish va boshqa stantsiyalar bilan tushunarli ta'sirga olish uchun muhimdir.
5. armoqlar, har xil turlardagi tizimlarni birlashtirish uchun ishlab chiqilgan va ularga aloqa o'rnatish imkonini beradigan vositalardir. Tarmoqlardan foydalanishning bir necha afzalliklari bor:
Ma'lumot almashish va almashish tezligi: Tarmoqlar orqali ma'lumotlarni o'tkazish va almashish oson va tez bo'lib, foydalanuvchilarga ma'lumotlariga tezlik bilan murojaat etish imkoniyatini beradi.
Resurslarni birlashtirish: Tarmoqlar orqali bir nechta qurilmalarni birlashtirish va ma'lumotlarni o'zaro almashish, resurslarini oqibatga keltirishga imkon beradi.
Ko'pfoydali foydalanuvchilar: Tarmoqlar orqali bir nechta foydalanuvchi bir qatorda bir-biriga aloqa qilishi mumkin bo'lib, bir-birining resurslaridan foydalanish imkoniyatini oshiradi.
Uzoq masofaviy aloqa: Tarmoqlar orqali ma'lumotlarni uzoq masofalarga tez va ishonchli tarzda o'tkazish mumkin.
Xavfsizlik: Yaxshi tartiblangan tarmoq xavfsizligi, ma'lumotlarni shifrlash va boshqa xavfsizlik chexlarini o'z ichiga oladi.
Ishonch va qabul qilishlik: Tarmoqlar, qurilmalarning uzoq muddatli ishlashini ta'minlash va avtomatik to'xtatish, nosozlash va qayta tiklash imkonini beradi.
Tarmoq tashkiloti va administrativ boshqaruv: Tarmoqlar, ma'lumotlar oqimini boshqarish, boshqarish, ma'lumotlar almashish va taqsimlash, ma'lumotni saqlash va boshqa tarmoq faoliyatlarini boshqarish uchun zarur vositalarni o'z ichiga oladi.
O'zgaruvchanlik: Tarmoqlar, yangi qurilmalarni qo'shish va tarmoqni yangilash oson bo'lib, tizimlarni kengaytirish va rivojlantirishga imkon beradi.
Ushbu afzalliklar, tarmoqlardan samarali foydalanishning faoliyat sohasidagi qo'llaniladigan afzalliklardan faqat bir qismini ifodalaydi.
|
