|
Big Data bilan ishlash usullari va vositalari
|
| bet | 2/3 | | Sana | 22.12.2023 | | Hajmi | 19.91 Kb. | | #126766 |
Bog'liq 6-mavzu. Katta ma’lumotlar ombori (BIG DATA) va kognitiv texnologiyalar va ularni qo‘llash xaqida asosiy tushunchalar. 1 мавзу менежментнинг назарий асослари — копия, Bonu 27-variantpdf, iq uz, Matematika, Дисс 1 BOB, Elektrotexnika va elektronika asoslari (M.Turdiyev), ERGASHEV SAIDJON, Фермер хўжаликларини самарали бошқариш Aliqulova MD uz, lecture 2 alfra, lecture 3, lecture 24, lecture 24, 1-mavzu Buxgalteriya,Iqtisodiyot ,Bank, 2 (1), Raqamli jamiyatning umumiy asoslariBig Data bilan ishlash usullari va vositalari.
Katta ma'lumotlarni to'plash va tahlil qilishning asosiy usullari quyidagilarni o'z ichiga oladi:
Data Mining - assotsiativ qoidalarni o'qitish, tasniflash, klaster va regressiya tahlili;
krodsourcing - bu inson yordamida ma'lumotlarni toifalash va boyitish, ya'ni, uchinchi shaxslarning ixtiyoriy yordami bilan;
raqamli signalga ishlov berish va tabiiy tilda ishlov berish kabi ma'lumotlarni aralashtirish va birlashtirish;
sun'iy neyron tarmoqlari, tarmoqni tahlil qilish, optimallashtirish usullari va genetik algoritmlarni o'z ichiga olgan holda mashinani o'rganish;
takrorlanishlarni aniqlash;
bashoratli tahlil;
simulyatsiya modellashtirish;
mekansal va statistik tahlil;
analitik ma'lumotlarni vizualizatsiya qilish - rasmlar, grafikalar, diagramma, jadvallar.
Katta ma'lumotlar bilan ishlash uchun dasturiy va apparat vositalari kengaytirish, parallel hisoblash va tarqatishni ta'minlaydi, chunki doimiy o'sish kata ma'lumotlarning asosiy xususiyatlaridan biridir. Asosiy texnologiyalarga aloqador bo'lmagan ma'lumotlar bazasi (NoSQL), MapReduce ma'lumotlarini qayta ishlash modeli, Hadoop klasteri ekotizimining tarkibiy qismlari, R va Python dasturlash tillari, shuningdek Apache-ning ixtisoslashtirilgan mahsulotlari (Spark, AirFlow, Kafka, HBase va boshqalar) kiradi.
Data Mining. Data Mining texnologiyalari
Data mining(ma'lumotlarni topish) - biron qonuniyatni topish maqsadida ma'lumotlarni intellectual analiz qilishga aytiladi. Isroillik matematik Grigoriy Pyatetskiy-Shapiro 1989-yilda bu atamani fanga kiritgan.
Texnologiyalar, avvalari noma'lum va foydali bo'lgan qayta ishlanmagan(hom) ma'lumotlarni topish jarayoniga data mining(ma'lumotlarni topish) deyiladi. Data mining metodlari ma'lumotlar ombori, statistika va sun'iy intellekt tutashgan nuqtada joylashadi.
Ma'lumotlar qidirish usullari har xil tasniflash, modellashtirish va prognoz qilish usullariga asoslangan bo'lib, qaror daraxtlarini, sun'iy neyron tarmoqlarini, genetik algoritmlarni, evolyutsion dasturlashni, assotsiativ xotirani, loyqa mantiqni ishlatishga asoslangan. Ma'lumotlarni qidirish usullari ko'pincha statistik usullarni o'z ichiga oladi (tavsifli tahlil, korrelyatsiya va regressiya tahlili, omillar tahlili, tafovutni tahlil qilish, tarkibiy qismlarni tahlil qilish, diskriminant tahlil, vaqtni tahlil qilish, yashashni tahlil qilish, havolani tahlil qilish). Ammo bunday usullar tahlil qilingan ma'lumotlar haqida ba'zi bir afsonaviy fikrlarni qabul qiladi, bu ma'lumotlar qidirish maqsadlariga (ilgari noma'lum bo'lmagan va amaliy foydali bilimlarni kashf etish) zid keladi.
Ma'lumotlar qidirish usullarining eng muhim maqsadlaridan biri bu maxsus matematik tayyorgarlikka ega bo'lmagan odamlar tomonidan ma'lumotlarni qidirish vositalaridan foydalanishga imkon beradigan hisob-kitoblarning natijalari (vizualizatsiya).
Dastlab, ma'lumotlar bazasi mavjud vazifa quyidagicha belgilanadi:
juda katta;
ma'lumotlar bazasida ba'zi "yashirin bilimlar" mavjud deb taxmin qilinadi.
Katta hajmdagi tayyor bo`lmagan ma'lumotlarda yashirin bo'lgan metodlarini aniqlash usullarini ishlab chiqish kerak. Hozirgi global raqobat sharoitida qo'shimcha raqobatbardosh ustunlik manbai bo'lishi mumkin bo'lgan aniqlangan ilmlar (bilimlar)ni aniq ishlab chiqish kerak bo`ladi.
Ma'lumot olish usullari katta ma'lumotlar bilan ishlashda ham, nisbatan kam miqdordagi ma'lumotlarni qayta ishlashda ham qo'llanilishi mumkin (masalan, individual eksperimentlar natijalari natijasida yoki kompaniyaning faoliyati to'g'risidagi ma'lumotlarni tahlil qilishda olinadi) Yetarli miqdordagi ma'lumotlarning mezoni sifatida tadqiqot sohasi, va amaliy tahlil algoritmi kerak bo`ladi.
Data mining yordamida muammolarni hal qilishning bir qator bosqichlari:
1. Tahlil vazifasi bayoni;
2. Ma'lumot to'plash;
3. Ma'lumotlarni tayyorlash (filtrlash, qo'shish, kodlash);
4. Modelni tanlash (ma'lumotlarni tahlil qilish algoritmi);
5. Model parametrlari va o'rganish algoritmini tanlash;
6. Modelni o'qitish (boshqa model parametrlarini avtomatik izlash);
7. Agar 5-bandga yoki 4-bandga o'tish qoniqarli bo'lmasa, o'qitish sifatini tahlil qilish;
8. 1, 4 yoki 5-bandlarga o'tish qoniqarsiz bo'lsa, aniqlangan bilimlarni tahlil qilish.
|
| |
