Muzaffarov mansurning

Reja:

1. 
   Katta hajmli ma’lumotlar va ularning qo‘llanilish sohalari
   
2. 
   Katta ma’lumotlar bazasi va ularning arxitekturasi.
   
3. 
   Ma’lumotlarni qayta ishlash. Ma’lumotlarni uzatish metodlari.
   

1.Katta hajmli ma'lumotlar ("big data") bir nechta manbalardan oladigan va odatda mavjud hajmdan ko'p ma'lumotlardir. Bu ma'lumotlar, xususiyatlar, texnologik vositalar va tizimlar orqali yig'iladi. Katta hajmli ma'lumotlar, klasik ma'lumotlar bilan solishtirilganda, tahlil qilinmasi, saqlanishi, qayta ishlash va ularga qo'llanish jarayonlarida xususiyatlar bilan ajralib turadi.

Katta hajmli ma'lumotlar odatda 3V (hajm, tezlik, turli turlari) qoidalari asosida ta'riflanadi:

1. Hajm (Volume): Katta hajmli ma'lumotlar, bevosita vaqt ichida oqimining yuzaga kelganligi sababli, tushunarli hajmda bo'lib turadi. Ular, terabaitlar, petabaitlar yoki hatta eksabaytlar sifatida ifodalashadi. Katta hajmli ma'lumotlar, internet va ijtimoiy tarmoqlar, elektron pochta, sensorga asoslangan qurilmalar, mobil vositalar, bank hisob-kitoblari va boshqa manbalardan kelib chiqishi mumkin.

2. Tezlik (Velocity): Katta hajmli ma'lumotlar bir nechta manbalardan to'plangan vaqt ichida o'zgarishi mumkin bo'lgan ma'lumotlardir. Bu ma'lumotlar tezda olinishi, saqlanishi va tahlil qilinishi kerak bo'lgan tezlikda olinishi lozim bo'lgan ma'lumotlardir. Misol uchun, ijtimoiy tarmoqlardagi fikrlar, onlayn savollar va javoblar, hisobotlar va boshqa ma'lumotlar tezda yig'ilishi mumkin.

3. Turli turlari (Variety): Katta hajmli ma'lumotlar turli formatlarda bo'lishi mumkin. Bu ma'lumotlar matn, raqamli ma'lumotlar, audio va video fayllar, jadval va grafiklar shakllarida bo'lishi mumkin. Shuningdek, ularga geografik ma'lumotlar, ijtimoiy tarmoq ma'lumotlari, sensor ma'lumotlari, hisob-kitoblar va boshqa ko'plab turdagi ma'lumotlar kirishi mumkin.

Katta hajmli ma'lumotlar kelajakdagi sohalar uchun katta potentsial va foydalar taqdim etadi, misol uchun:

1. Biznes sohasi: Katta hajmli ma'lumotlar, savdo analizi, mijozlarga yo'naltirish, marketing kampaniyalarini optimallashtirish, sotish prognozlashuvini amalga oshirish, xaridorlar qo'zg'atish va sotuvlarini oshirish va boshqalar kabi biznes jarayonlarini kuchaytirishda foydalaniladi.

2. Sog'liqni saqlash sohasi: Katta hajmli ma'lumotlar, tibbi ma'lumotlar, shifokorlik tarixi, laboratoriya natijalari, xususiyliklar va boshqa tibbi malumotlarni tahlil qilishda foydalaniladi. Bu, kasalliklarni oldindan aniqlash, davolarni optimallashtirish, epidemiyalarni aniqlash va tibbi sohada boshqa iste'molchilarni amalga oshirishda yordam beradi.

3. Ma'lumot analitikasi va ma'lumotlar bilan ishlash sohasi: Katta hajmli ma'lumotlar, ma'lumot analitikasi, ma'lumotlar bilan ishlKatta hajmli ma'lumotlar ("big data") bir nechta manbalardan oladigan va odatda mavjud hajmdan ko'p ma'lumotlardir. Bu ma'lumotlar, xususiyatlar, texnologik vositalar va tizimlar orqali yig'iladi. Katta hajmli ma'lumotlar, klasik ma'lumotlar bilan solishtirilganda, tahlil qilinmasi, saqlanishi, qayta ishlash va ularga qo'llanish jarayonlarida xususiyatlar bilan ajralib turadi.

Katta hajmli ma'lumotlar odatda 3V (hajm, tezlik, turli turlari) qoidalari asosida ta'riflanadi:

1. Hajm (Volume): Katta hajmli ma'lumotlar, bevosita vaqt ichida oqimining yuzaga kelganligi sababli, tushunarli hajmda bo'lib turadi. Ular, terabaitlar, petabaitlar yoki hatta eksabaytlar sifatida ifodalashadi. Katta hajmli ma'lumotlar, internet va ijtimoiy tarmoqlar, elektron pochta, sensorga asoslangan qurilmalar, mobil vositalar, bank hisob-kitoblari va boshqa manbalardan kelib chiqishi mumkin.

2. Tezlik (Velocity): Katta hajmli ma'lumotlar bir nechta manbalardan to'plangan vaqt ichida o'zgarishi mumkin bo'lgan ma'lumotlardir. Bu ma'lumotlar tezda olinishi, saqlanishi va tahlil qilinishi kerak bo'lgan tezlikda olinishi lozim bo'lgan ma'lumotlardir. Misol uchun, ijtimoiy tarmoqlardagi fikrlar, onlayn savollar va javoblar, hisobotlar va boshqa ma'lumotlar tezda yig'ilishi mumkin.

3. Turli turlari (Variety): Katta hajmli ma'lumotlar turli formatlarda bo'lishi mumkin. Bu ma'lumotlar matn, raqamli ma'lumotlar, audio va video fayllar, jadval va grafiklar shakllarida bo'lishi mumkin. Shuningdek, ularga geografik ma'lumotlar, ijtimoiy tarmoq ma'lumotlari, sensor ma'lumotlari, hisob-kitoblar va boshqa ko'plab turdagi ma'lumotlar kirishi mumkin.

Katta hajmli ma'lumotlardan foydalanish sohalari kengdir va ularga quyidagi misollar kiradi:

1. Biznes tahlili: Katta hajmli ma'lumotlar kompaniyalar uchun qiymatli tahlil imkoniyatlarini beradi. Ular, savdo analizi, mijozlarga yo'naltirish, marketing kampaniyalarini optimallashtirish, sotish prognozlashuvini amalga oshirish va boshqalar kabi biznes jarayonlarini kuchaytirishda foydalaniladi.

2. Sog'liqni saqlash sohasi: Katta hajmli ma'lumotlar, tibbi ma'lumotlar, shifokorlik tarixi, laboratoriya natijalari, xususiyliklar va boshqa tibbi malumotlarni tahlil qilishda foydalaniladi. Bu, kasalliklarni oldindan aniqlash, davolarni optimallashtirish, epidemiyalarni aniqlash va tibbi sohada boshqa iste'molchilarni amalga oshirishda yordam beradi.

4. 
   Iqtisodiy tahlil: Katta hajmli ma'lumotlar, iqtisodiy tahlil va prognostikalar uchun muhim ma'lumotlar bilan ta'minlaydi. Ular, bozor anal
   

2.Katta ma'lumotlar bazasi (KMB) bir yoki bir nechta ma'lumotlarni saqlash, tahrirlash, va boshqarish uchun xizmat qiladigan axborot tizimi hisoblanadi. KMB, ma'lumotlarni katta miqdorda saqlab turish va ularga tegishli so'rovlar orqali boshqarish imkoniyatini beradi. Ushbu bazalar, turli sohalarda ma'lumotlarni saqlash uchun foydalaniladi, masalan, biznes, ilm-fan, sayohat, telekommunikatsiya va boshqalar.

Katta ma'lumotlar bazalari turli xil arxitekturalarga ega bo'lishi mumkin. Quyidagi katta ma'lumotlar bazalari arxitekturasi turlari mashhur:

1. Klassik relatsion bazalar: Bu, klasik ma'lumotlar bazasi turi hisoblanadi. Ushbu bazalar, relatsion modellarga muvofiq sifatli jadvallarni ishlatadi. Bunday bazalar, jumlalar va ustunlar yordamida ma'lumotlar bilan ishlash imkoniyatini beradi. Misol uchun, MySQL, Oracle Database, Microsoft SQL Server va PostgreSQL kabi relatsion bazalar keng tarqalganlardir.

2. Dokument ma'lumotlar bazalari: Bu, NoSQL (Not Only SQL) ma'lumotlar bazasi turi hisoblanadi. Ushbu bazalar, JSON yoki XML formatidagi dokumentlarni saqlaydi. Dokument ma'lumotlar bazalari yuqori scalablelik va korxona tizimlari uchun mos bo'lishi bilan mashhur. MongoDB, Couchbase va Apache Cassandra bu turga misol qilib keltirilishi mumkin.

3. Qator ma'lumotlar bazalari: Bu, NoSQL ma'lumotlar bazasi turi hisoblanadi va relatsion bazalardan farqli ravishda ishlaydi. Qator ma'lumotlar bazalari, katta miqdordagi ma'lumotlarni saqlashda yordam beradi, masalan, sensor ma'lumotlari, loglar va boshqalar. Elasticsearch, Splunk va Apache HBase qator ma'lumotlar bazalarining misollaridir.

4. Grafik ma'lumotlar bazalari: Bu, ma'lumotlarni grafik modellari yordamida saqlashga imkon beradigan ma'lumotlar bazasi turi hisoblanadi. Ushbu bazalar, obyektlar o'rtasidagi aloqalarni ifodalaydi. Misol uchun, Neo4j va Amazon Neptune grafik ma'lumotlar bazalarining misollaridir.

5. Mahalliy ma'lumotlar bazalari: Bu, ma'lumotlarni mahalliy qurilma (local device) yoki serverda saqlash uchun ishlatiladigan ma'lumotlar bazasi hisoblanadi. Mahalliy ma'lumotlar bazalari mobil ilovalar, smart qurilmalar va IoT (Internet of Things) tizimlarida keng tarqalgan.

Bundan tashqari, katta ma'lumotlar bazalari arxitekturasi shaxsiy talablarga, maqsadlarga va muammoni hal qilish zaruratlarga qarab o'zgarganlik ko'rsatishi mumkin. Shaxsiy talablarga va loyihaning xususiyatlariga qarab, har bir ma'lumotlar bazasi o'ziga xos arxitekturaga ega bo'lishi mumkin.

3.Ma'lumotlarni qayta ishlash, ularni o'zgartirish, yangilash yoki tarqatish jarayonidagi ma'lumotlarning o'zgarishlarini anglatadi. Bu jarayon ma'lumot analitikasi, ma'lumotlarni to'plash, ma'lumotlarni tahlil qilish va ma'lumotlarni o'rganishning bir qator metodlaridan foydalanadi. Ma'lumotlarni qayta ishlashning bir nechta umumiy usullari mavjud:

1. To'plam ma'lumotlarni o'zgartirish: Bu usulda, ma'lumotlarni qayta ishlovchi o'zgarishlarni kiritish orqali ma'lumotlar o'zgartiriladi. Bu usul, ma'lumotlar ustida to'plam operatsiyalarni bajarishga imkon beradi, masalan, qo'shimcha ma'lumotlarni qo'shish, ma'lumotlar ustida tahrirlash, ma'lumotlarni o'chirish va boshqalar.

2. Tahlil qilish: Bu usul ma'lumotlarni tahlil qilib, ularning ma'nosi, bo'linishi va muhim xususiyatlari haqida tushuntirishni o'z ichiga oladi. Bu usul statistik analitikaga, ma'lumotlar oqimini aniqlashga, ma'lumotlar orasidagi munosabatlarni aniqlashga yordam beradi. Tahlil usullari orasida statistik analiz, ma'lumotlar oqimi, ma'lumotlarni taqdim etish, tafsilotlar, grafiklar, diagrammalar va boshqalar kabi qo'llanmalar va usullar mavjud.

3. Ma'lumotlar o'qimini o'zgartirish: Ma'lumotlarni qayta ishlashning bu usuli ma'lumotlarni normalizatsiya qilish, filtratsiya qilish, tartiblash, o'zaro bog'lanishlarni aniqlash va boshqalar kabi ma'lumotlarni to'plam operatsiyalarini o'z ichiga oladi. Bu usul, ma'lumotlarning qayta ishlanishi va o'zgarishlarni amalga oshirishning asosiy usullaridan biri hisoblanadi.

4. Ma'lumotlarni birlashtirish: Bu usulda, bir-biriga bog'liq bo'lgan ma'lumotlar biriktiriladi va bir to'plam sifatida saqlanadi. Bu usul, ma'lumotlarni bir-biriga bog'liqlikni tahlil qilishda va ma'lumotlar orasidagi munosabatlarni aniqlashda yordam beradi. Ma'lumotlarni birlashtirish usullari o'zaro bog'liq ma'lumotlar, qo'shimcha ma'lumotlar, ko'rsatkichlar, indekslar va boshqalar kabi ma'lumotlarni birlashtirishni o'z ichiga oladi.

5. Ma'lumotlarni model qilish: Bu usul ma'lumotlarni bir modelga o'zlashtirishni o'z ichiga oladi, shuningdek, ma'lumotlarni yangi ma'lumotlar ustida prognozlash va ta'lim jarayonida ishlatish imkonini beradi. Bu usulda ma'lumotlar ustida tahlil, tashkilotlar uchun ma'lumotlarni model qilish, ma'lumotlarni prediktiv analiz qilish va boshqalar kabi asosiy operatsiyalar mavjud.

Bu faqat bir nechta ma'lumotlarni qayta ishlash usullaridan faqat bir qismidir. Ma'lumotlar analitikasi so'nggi yillarda kengayibMa'lumotlarni uzatish metodlari, ma'lumotlarning o'zgarib ketishini, yangilanishini yoki kengayishini anglatadi. Quyidagi ma'lumotlarni uzatish metodlari bilan tanishishingiz mumkin:

1. Tahlil qilish: Ma'lumotlarni tahlil qilib, ularning o'zgarishlarini va tendentsiyalarini aniqlash. Bu usulda statistik analiz, trendlar va sezgiy qarashlar ishlatiladi. Ma'lumotlardan o'tgan tendentsiyalarni o'rganish, ma'lumotlar ustida sezgiy tahlil qilish, ko'rsatkichlar va indekslar yaratish, va ma'lumotlar orasidagi bog'liqliklarni aniqlash bu usulga misoldir.

2. Prognozlash: Ma'lumotlardan kelajakdagi qiymatlarni taxminlash. Bu usulda statistik modellar, masofaviya dasturlar, regressiya analizi va boshqa prognozlash usullari ishlatiladi. Ma'lumotlardan yuqori darajadagi modellar yaratilishi, kelajakdagi ma'lumotlarning hajmi, darajasi va o'zgarishlari to'g'risida qarashlar berish bu usulga misoldir.

3. Mashhur mashinalarning o'qitishi: Ma'lumotlarni o'qitish va ma'lumotlardan kelajakdagi qiymatlarni taxminlash uchun mashhur mashinalarning o'qitish usullaridan foydalanish. Bu usulda ma'lumotlar uchun model yaratiladi va o'rganish jarayonida model avtomatik ravishda o'zini yangilaydi. Masalan, qo'shimcha ma'lumotlar, o'zgarishlarni aniqlash va ma'lumotlarni sinflandirish uchun mashhur mashinalarning o'qitish usullari foydalaniladi.

4. Kengaytirish: Ma'lumotlarni kengaytirish, yangi ma'lumotlarni qo'shish va ma'lumotlar bazasini o'zgartirish orqali ma'lumotlarni uzatish. Bu usul, ma'lumotlar bazasini kengaytirish, qo'shimcha ma'lumotlar va ma'lumotlarni bir-biriga bog'lash orqali ma'lumotlarni uzatishga imkon beradi.

5. Ma'lumotlarni integratsiya qilish: Ma'lumotlarni turli manbalardan yig'ib olish va ulardan foydalanish. Bu usulda ma'lumotlar bazasini birlashtirish, API-lardan ma'lumot olish, boshqa tashkilotlardan ma'lumot olish va boshqa integratsiya usullari foydalaniladi.

6. Ma'lumotlarni transformatsiya qilish: Ma'lumotlarni o'zgartirish, tuzish, filtirlash yoki tartiblash orqali ulardan yana ma'lumotlar olish. Bu usulda ma'lumotlarni normalizatsiya qilish, filtratsiya qilish, tartiblash, ma'lumotlar orasidagi bog'liqliklarni aniqlash va boshqa transformatsiya usullari ishlatiladi.