Image
6.3.2019 0 Comments

Začiatky BIG DATA

Od autonómnych áut po odhaľovanie podvodov - BIG DATA v T-Systems Slovakia

V roku 1663 sa obchodník s galantériou John Graunt rozhodol zaznamenávať štatistiky týkajúce sa verejného zdravia v Londýne. So svojimi spolupracovníkmi monitoroval epidémiu čierneho moru v meste a na základe získaných dát podnikol prvý pokus o výstražný systém na prevenciu možného rozšírenia nákazy. Okrem toho, že sa tak stal jedným z prvých demografov a epidemiológov, stal sa aj prvým dátovým analytikom.

Množstvo dát, s ktorými John Graunt v 17. storočí pracoval, bolo na tú dobu ohromujúce.  S nástupom 20. storočia sa však množstvo zaznamenaných dát zvýšilo nepredstaviteľným spôsobom – 90 % objemu všetkých dát na svete vzniklo v priebehu posledných pár rokov. Každé dva roky sa tento objem zdvojnásobí. V roku 2018 sa na celom svete denne generovalo 2,5 trilióna bajtov dát. Tieto dáta sú štruktúrované, neštruktúrované či sčasti štruktúrované, preto štatistiky a tradičné relačné databázy na ich spracovávanie už dávno nestačia. V roku 2004 vydal Jefferz Dean a Sanjaz Ghemawat z firmy Google článok o programovacom modeli MapReduce  s názvom MAPREDUCE: SIMPLIFIED DATA PROCESSING ON LARGE CLUSTERS, ktorý sa zaoberal prístupom Googlu k zberu a analýze dát z internetových stránok na optimalizáciu vyhľadávania. Google používal MapReduce spolu s Google File System (skratka GFS). O rok neskôr vznikol v rámci open source komunity Apache projekt Hadoop, ktorý je zbierkou open source softvérov a programov, využívajúcich zdroje mnohých počítačov na spracúvanie obrovských množstiev dát v reálnom čase. Jadrom Hadoopu je HDFS (Hadoop Distributed Filesystem) a MapReduce. MapReduce využíva aj firma MapR, ktorá integruje Hadoop do vlastných riešení big data.

Využitie big data

Big data priniesli revolúciu do takmer všetkých odvetví priemyslu a majú vplyv aj na súčasnú kultúru. Sú výsledkom informačnej doby a okrem technológií menia aj ľudské správanie a pohľad na svet. Príklady využitia big data:

·    Big data sa používajú v oblasti zdravotníctva v epidemiológii a pri testovaní alternatívnych spôsobov liečby.

·    NASA používa big data na prieskum vesmíru.

·    Big data sa používajú v oblasti kyberbezpečnosti na zamedzenie kyberzločinu.

·    Vo finančnom sektore big data pomáhajú analyzovať riziká investícií a predpovedať vývoj burzy.

Potenciál využitia veľkého množstva dát je nesmierny, uvedomujú si to aj firmy na celom svete. Preto sa v súvislosti s dátami často používa spojenie „Data is the new oil" (dáta sú novou ropou).

Big data v Košiciach 

Na neustále sa zvyšujúci dopyt po riešeniach big data v Európe odpovedá od roku 2015 aj košická firma T-Systems Slovakia. Tím ICT inžinierov, administrátorov a architektov zozbieral potrebné vedomosti a know-how a vybudoval prvé POC (proof-of-concept) klastre, na ktorých si zákazníci mohli vyskúšať aplikovať riešenia big data pre svoj biznis. V priebehu nasledujúcich mesiacov a rokov T-Systems Slovakia získalo viacero zákazníkov, pre ktorých sa stali big data skutočným prínosom a využívajú ich v produkčnom prostredí. Na poskytovanie služieb využíva T-Systems Slovakia produkty najväčších hráčov na trhu, ako sú Cloudera, Hortonworks, MapR a pod. Košický tím poskytuje kompletný balík služieb - technický koncept a dizajn infraštruktúry, vybudovanie klastrov (softvér, hardvér, sieť a bezpečnosť), administráciu, optimalizáciu, konzultačné služby a automatizáciu.

Súčasné a budúce projekty big data T-Systems Slovakia zahŕňajú:

·    Machine learning na vývoj autonómnych áut

·    Monitorovanie stavu súčiastok a pneumatík pomocou senzorov a predikcia ich výmeny

·    Predpovedanie meškania vlakov

·    Prevenciu podvodov

·    Zber a analýzu dát z IP kamier

·    Anonymizáciu dát a iné

Väčšina klastrov Hadoop sa štandardne nachádza vo veľkých dátových centrách. T-Systems Slovakia sa podieľa aj na netradičnom projekte, ktorým je koncept mobilného dátového centra. To pozostáva z niekoľkých mobilných a centrálnych klastrov, ktoré sú spojené do logickej infraštruktúry. Princíp je takýto: Dáta sa bezdrôtovo prenášajú z testovacích vozidiel do lokálneho mobilného klastra. V rámci takzvaného edge computingu sa predbežné výpočty vykonávajú priamo na mieste a na ďalšie spracovanie už putujú len výsledky zbavené zbytočného balastu. Hlavné výpočty prebiehajú v logickom klastri podľa princípu „prenášaj algoritmus, nie dáta“. Lokálne klastre sú budované s dôrazom na výkon, prevenciu dátových strát a aj s ohľadom na klimatické podmienky danej lokality. Kým všetky mobilné klastre sú prenášateľné, tie najmenšie sú také malé, že sa vojdú do jedného transportného vozidla.

Na záver už možno len dodať, že big data v IT sektore rozhodne nekončia. Implementácia big data veľkými spoločnosťami vzrástla zo 17 % v roku 2015 na 59 % v roku 2018, čím dosiahla kumulovanú ročnú mieru rastu 36 %. Big data sa tak stali jednou z najrýchlejšie sa rozvíjajúcich technologických oblastí súčasnosti.

T-Systems Slovakia - http://T-systems.sk


Nechajte si posielať prehľad najdôležitejších správ emailom

Mohlo by Vás zaujímať

ITPro

Bosch ConnectedWorld 2019: 3 príklady využitia IoT v praxi (video)

16.05.2019 12:54

Bosch Connected World 2019 je jednou z najväčších medzinárodných konferencií venovanej Internetu vecí. V dňoch 15. a 16. mája na nej predstavuje viac ako 80 vystavovateľov svoje riešenia pre využitie ...

ITPro

Security: Päť operačných systémov vo firme? Zvládnuť sa to dá

08.05.2019 12:50

Bežný človek by si mohol myslieť, že firmy v našich končinách nefungujú na ničom inom, len na Windows. Ide síce o najrozšírenejší operačný systém, nemusí to však byť najvhodnejšia platforma pre všetky ...

ITPro

Prieskum: Trh ERP na Slovensku v roku 2018

08.05.2019 12:41

Redakcia magazínu PC REVUE uskutočnila v priebehu apríla prieskum predaja podnikových informačných systémov (ERP) na slovenskom trhu v roku 2018. V rámci prieskumu boli oslovené obchodné zastúpenia za ...

q

Žiadne komentáre

Vyhľadávanie

SecTec_2019

Najnovšie videá

Cyber Central Malware Analysis Training


PC forum button