Big Data билан ишлаш технологиялар ва тенденциялар

Big Data билан ишлаш технологиялар ва тенденциялар

Big Data билан ишлаш технологиялар ва тенденциялар

Дастлаб, СУБД NoSQL MapReduce алгоритмлари ва Hadoop лойиҳаси воситалари каби номаълум тузилган маълумотларга оммавий равишда параллел равишда ишлов бериш усуллари ва технологиялари киритилган. Кейинчалик, бошқа эчимлар катта маълумот технологияларига тааллуқли бўлиб, улар катта-катта маълумотлар массивларини, шунингдек баъзи бир ускуналарни қайта ишлаш қобилиятларида ўхшаш хусусиятларни тақдим этишди. MapReduce - Google томонидан тақдим этилган компютер кластерларида тақсимланган параллел ҳисоблаш модели. Ушбу моделга кўра дастур кластер тугунларида бажариладиган жуда кўп ўхшаш элементар вазифаларга бўлинади ва кейинчалик табиий равишда якуний натижага туширилади. NoSQL (инглиз тилидан Not Only SQL) - ҳар хил номутаносиб маълумотлар базалари ва омборхоналар учун умумий атама бирон бир аниқ технология ёки маҳсулотни англатмайди. Анъанавий реляцион маълумотлар базалари жуда тез ва бир хил бўлган сўровлар учун жуда мос келади ва катта маълумотларга хос бўлган мураккаб ва мослашувчан қурилган сўровларда юк ўртача чегаралардан ошиб кетади ва маълумотлар базасидан фойдаланиш самарасиз бўлади. Hadoop - бепул тарқатиладиган ёрдамчи воситалар тўплами, кутубхоналар ва юзлаб ва минглаб тугунлар кластерларида ишлайдиган тарқатилган дастурларни ишлаб чиқиш ва бошқариш. У катта маълумотларнинг асосий технологияларидан бири ҳисобланади. Р - статистик маълумотларни ва графикаларни қайта ишлаш учун дастурлаш тили. У маълумотларни таҳлил қилиш учун кенг қўлланилади ва аслида статистик дастурлар учун стандарт бўлиб қолди. Ускунa эчимлари. Teradata, EMC ва бошқа корпорациялар катта маълумотларни қайта ишлаш учун мўлжалланган аппарат ва дастурий таъминотни таклиф этади. Ушбу тизимлар серверлар ва оммавий параллел ишлов бериш учун бошқариш дастурларини ўз ичига олган ўрнатишга тайёр телекоммуникация шкафлари сифатида этказиб берилади. Бунга баъзан тасодифий кириш хотирасида аналитик ишлов бериш учун аппарат эчимлари, хусусан, SAP ва Oracle Analytics-дан Hana дастурий таъминоти ва дастурий таъминотлари киради, гарчи бундай қайта ишлаш дастлаб катта даражада параллел бўлмаса ҳам ва битта тугуннинг хотира ҳажми чекланган бир неча терабайт McKinsey консалтинг компанияси аксарият таҳлилчилар томонидан кўриб чиқилган NoSQL, MapReduce, Hadoop, Р технологияларига қўшимча равишда, катта маълумотларга ишлов бериш шароитида SQL қўллаб-қувватлайдиган Business Intelligence технологиялари ва маълумотлар базасини бошқариш тизимларини ҳам ўз ичига олади.