|
Kompyuter injiniring ” fakulteti Kompyuter injiniring
|
| bet | 20/27 | | Sana | 09.01.2024 | | Hajmi | 1,34 Mb. | | #132841 |
Bog'liq 2 deadline BoburjonAMALIY MASHG‘ULOT - 19
Маvzu: Apache Hive
Ishning maqsadi: Keng miqyosda tahlil qilish imkonini beruvchi va SQL yordamida taqsimlangan xotirada joylashgan petabayt ma'lumotlarni o'qish, yozish va boshqarishni osonlashtiradigan taqsimlangan, xatolarga chidamli ma'lumotlar ombori tizimi.
HIVE nima?
(https://hive.apache.org/)
Apache Hive keng miqyosda tahlil qilish imkonini beruvchi taqsimlangan, xatolarga chidamli ma'lumotlar ombori tizimidir. Hive Metastore (HMS) ma'lumotlarga asoslangan qarorlar qabul qilish uchun osongina tahlil qilinishi mumkin bo'lgan metama'lumotlarning markaziy omborini taqdim etadi va shuning uchun u ko'plab ma'lumotlar ko'li arxitekturalarining muhim tarkibiy qismidir. Hive Apache Hadoop-ning tepasida qurilgan va S3, adls, gs va boshqalarda hdf formatida saqlashni qo'llab-quvvatlaydi. Hive foydalanuvchilarga SQL yordamida petabayt ma'lumotlarni o'qish, yozish va boshqarish imkonini beradi.
Asosiy xususiyatlar:
Hive-Server 2 (HS2)
Hive Metastore Server (HMS)/ Hive Metastore Server (HMS)
Hive ACID/Hive ACID
Hive ma'lumotlarini siqish/Hive Data Compaction
Hive replikatsiyasi/Hive Replication
Xavfsizlik va kuzatuvchanlik/Security and Observability
Hive LLAP/Hive LLAP
So'rovlarni rejalashtiruvchi va xarajatlarga asoslangan optimallashtiruvchi/Query planner and Cost based Optimizer
HiveServer2 (HS2) mijozlarga Hive-ga qarshi so'rovlarni bajarishga imkon beruvchi xizmatdir. HiveServer2 eskirganHiveServer1vorisi hisoblanadi . HS2 ko'p mijozli parallellik va autentifikatsiyani qo'llab-quvvatlaydi. U JDBC va ODBC kabi ochiq API mijozlarini yaxshiroq qo'llab-quvvatlash uchun mo'ljallangan.
HS2 kompozit xizmat sifatida ishlaydigan yagona jarayon bo'lib, u Thrift-ga asoslangan Hive xizmatini (TCP yoki HTTP) va veb UI uchun Jetty veb-serverini o'zichiga oladi.
HS2 arxitekturasi
Thrift-ga asoslangan Hive xizmati HS2 ning yadrosi bo'lib, Hive so'rovlariga (masalan, Beeline'dan) xizmat ko'rsatish uchun javobgardir.Thrift- platformalararo xizmatlarni yaratish uchun RPC ramkasi. Uning stegi 4 ta qatlamdan iborat: Server, Transport, Protokol va Protsessor. Qatlamlar haqida batafsil ma'lumotnihttps://thrift.apache.org/docs/conceptssahifasida topishingiz mumkin .
HS2 ilovasida ushbu qatlamlardan foydalanish quyida tasvirlangan.
|
| |
