Uchta «V» va katta ma’lumotlar bilan ishlashning uchta prinsipi. Big Data bilan texnologiyalar va tendensiyalar. Katta ma’lumotlarni tahlil qilish usullari

Uchta «V» va katta ma’lumotlar bilan ishlashning uchta prinsipi. Big Data bilan texnologiyalar va tendensiyalar. Katta ma’lumotlarni tahlil qilish usullari

1.Уч “V” ва учта катта маълумотлар принциплари

Катта маълумотларнинг аниқловчи хусусиятлари, уларнинг жисмоний ҳажмидан ташқари, ушбу маълумотларни қайта ишлаш ва таҳлил қилиш вазифасининг мураккаблигини таъкидлайдиган бошқа хусусиятлардир. Мета Group компанияси 2001 йилда Мета Group компанияси томонидан ҳар уч жиҳат бўйича ҳам маълумотларни бошқаришнинг бир хил аҳамиятлилигини намойиш этиш учун VVV атрибутлари тўпламини (VVV - volume, velocity, variety) (ҳажм, тезлик, хилма-хиллик - жисмоний ҳажм, маълумотларнинг ўсиш суръати ва тезкор қайта ишлаш зарурати, турли хил маълумотларни бир вақтнинг ўзида қайта ишлаш қобилияти) ишлаб чиқди. Катта маълумот асослари Келажакда талқинлар тўртта V (veracity – ишончлилик кўшилган), бешта V (viability - ҳаётийлик ва value – қиймат кўшилган) ва еттита V (variability - ўзгарувчанлик ва visualization – визуализация кўшилган) билан изохланади. Юқоридаги таърифларга асосланиб, катта маълумотлар билан ишлашнинг асосий принциплари қуйидагилардан иборат: 1. Горизонтал масштаблаш. Бу катта маълумотларни қайта ишлашнинг асосий принципи. Юқорида айтиб ўтилганидек, ҳар куни кўп маълумотлар бор. Шунга кўра, ушбу маълумотлар тақсимланадиган ҳисоблаш тугунлари сонини кўпайтириш керак лекин ишлаш самарасини бузмасдан амалга оширилиши керак. 2. Камчиликларга бардошлик (отказоустойчивость). Ушбу тамойил аввалгисидан келиб чиқади. Кластерда жуда кўп ҳисоблаш тугунлари бўлиши мумкин (баъзида ўн минглаб) ва уларнинг сони, мумкин, кўпаяди ва машинанинг ишдан чиқиши эҳтимоли ҳам ортади. Катта маълумотлар билан ишлаш усуллари бундай ҳолатларнинг эҳтимолини ҳисобга олиши ва профилактика чораларини кўриши керак. 3. Маълумотларнинг локаллиги. Маълумотлар жуда кўп сонли ҳисоблаш тугунлари бўйлаб тақсимланганлиги сабабли, улар битта серверда жойлашган бўлса ва бошқасида ишлов берилса, маълумотларни узатиш харажатлари асоссиз равишда ошиб кетиши мумкин. Шунинг учун, улар сақланадиган машинада маълумотларни қайта ишлашни амалга ошириш мақсадга мувофиқдир. Ушбу принциплар анъанавий, марказлаштирилган ва яхши тузилган маълумотларни сақлаш учун вертикал моделлардан фарқ қилади. Шунга кўра, катта маълумотлар билан ишлаш учун янги ёндашувлар ва технологиялар ишлаб чиқилмоқда.