Największe na świecie systemy Big Data

0

Ilość danych w Sieci rośnie w zawrotnym tempie. Oracle twierdzi, że Internet w ciągu 12 miesięcy powiększa się o ponad 40 proc. Obecnie liczy ponad 8 ZB danych, jednak już w 2020 roku ma sięgnąć 45 ZB. Te dane są przechowywane, m.in. w platformach DMP (Data Management Platform), działające głównie w chmurze obliczeniowej (cloud computing). Mechanizmy zawarte w platformach DMP pozwalają gromadzić w jednym miejscu informacje o konkretnym użytkowniku nawet wówczas, gdy ten korzysta z różnych urządzeń: tabletu, notebooka czy smartfona. Dzięki specjalnym algorytmom DMP pozyskują, sortują i kategoryzują wielkie zbiory internetowych danych (Big Data) z różnych źródeł, a następnie analizują je i przetwarzają.

Według badania IDG Enterprise w najbliższych latach wydatki na projekty związane z Big Data spajał będzie jeden wspólny mianownik: monetyzacja danych. Podobnie twierdzi Deloitte, który w raporcie „Analytics Trends 2015” określa monetyzację danych jednym z najważniejszych trendów biznesowych w najbliższych latach. W „The Industrial Insights Report for 2015” 3 na 4 firmy IT (75 proc.) przyznają, że odnotowały wzrost przychodów, właśnie dzięki wykorzystaniu analityki danych.

Mark Zagorski, CEO w eXelate twierdzi, że obecnie od 8 do nawet 10 proc. firm z listy Fortune 100 wykorzystuje platformy DMP, a w ciągu najbliższych 2-3 lat przynajmniej połowa firm z tej listy będzie skorzysta z zewnętrznych hurtowni Big Data. Przyjrzyjmy się zatem samym platformom DMP. Które z nich przechowują najwięcej danych? Innymi słowy: gdzie w Internecie wiedzą o nas najwięcej?

1. Yahoo!

Platforma DMP autorstwa Yahoo!, której powstanie portal ogłosił na początku tego roku, swoim zasięgiem obejmuje 20 milionów użytkowników. Dziennie gromadzi i przetwarza ponad 13,5 TB danych o zachowaniach i zainteresowaniach internautów, głównie ze Stanów Zjednoczonych. Yahoo! od lutego do maja 2015 roku gromadziło anonimowe dane użytkowników, którzy odwiedzali strony takie jak strona główna samego Yahoo, a także Yahoo News, Yahoo Sports, Yahoo Finance oraz Yahoo Real Estate. Yahoo stworzyło tę platformę z myślą o społeczności akademickiej, w celu dostarczenia aktualnej bazy danych dla młodych naukowców, prowadzących badania oraz projekty dotyczące m.in. maszynowego uczenia. W tym celu firma uruchomiła inicjatywę Yahoo Labs Webscope, w ramach której badacze uzyskują otwarty dostęp do anonimowych i zaszyfrowanych wielkich zbiorów danych o internautach, które wykorzystywać wyłącznie do celów naukowych. Komercyjne korzystanie z tych zasobów jest zabronione.
Jak tłumaczy Suju Rajan, Director w dziale Personalization Science w Yahoo Labs oraz główny koordynator platformy DMP Yahoo: – Dane stanowią dziś siłę napędową badań nad uczeniem maszynowym (machine learning). Jednak dostęp do wielkich zbiorów danych był tradycyjnie przywilejem zarezerwowanym dla badaczy i naukowców pracujących w dużych firmach, niedostępnym dla większości badaczy akademickich.
Jak piszą przedstawiciele Yahoo – celem ich platformy jest wspieranie niezależnych badań i studiów nad dziedziną maszynowego uczenia, a także znalezienie wspólnej płaszczyzny współpracy na linii biznes-nauka, w ramach której obie strony korzystałyby ze swoich zasobów.

2. Oracle

Platforma DMP autorstwa Oracle należy do jednych z największych na świecie i jest częścią Oracle Marketing Cloud. Samo Oracle tytułuje swoją platformę zarządzania danymi mianem największej platformy marketingowej świata, co według amerykańskiej firmy stało się możliwe dzięki przejęciu BlueKai, czyli firmy, która w skali globy była twórcą największej platformy danych typu third party. Prócz BlueKai platformę DMP autorstwa Oracle w dane zasila ponad 30 dostarczycieli danych typu third party, zaś łączna baza anonimowych profili internautów przekracza już 700 mln. Użytkownicy posegregowani są według ponad 40 tysięcy szczegółowych atrybutów, pozwalających na personalizację programów do marketingu, a tym samym – na zwiększenie precyzji komunikatów reklamowych, wyświetlanych internautom.

3. Google

W tym zestawieniu nie mogło oczywiście zabraknąć Google, czyli – przypuszczalnie – największego agregatora danych na świecie oraz jego serwisów do analityki danych, utrzymywanych w chmurze obliczeniowej, czyli: BigQuery, Cloud Data Flow oraz Cloud Pub/Sub. Google kusi swoich klientów tym, że w każdym miesiącu 1 TB danych będzie przetwarzany za darmo. Już teraz z hurtowni danych największej wyszukiwarki świata korzystają zarówno młode startupy, jak i międzynarodowe koncerny. Google to właściciel i zarazem generator gigantycznego zasobu danych: obsługuje ponad 100 miliardów zapytań w wyszukiwarce w skali miesiąca, spośród których aż 1,17 mld to zapytania unikatowe. To dostęp do danych ponad 187 mln unikalnych użytkowników miesięcznie, a łącznie ponad 1 mld użytkowników. Już teraz Google odpowiada za ponad 75 proc. ruchu w wyszukiwarkach w USA.
Nic dziwnego, że firma z Mountain View już wielokrotnie była posądzana o praktyki monopolistyczne. Teraz czeka ją kolejna batalia z politykami Unii Europejskiej. A konkretnie z duńską komisarz ds. konkurencji: Margrethe Vestager, która wyraziła ostatnio głośno swoje zaniepokojenie faktem, że firmy IT przechowujące i przetwarzające ogromne ilości danych o internautach (jak np. Google czy Facebook), mogą stanowić zagrożenie dla konkurencyjności innych podmiotów działających na rynku Big Data. Unijna komisarz walcząca z monopolem stwierdziła: – Jeśli raptem kilka firm ma możliwość kontrolowania danych, które są potrzebne innym podmiotom w działaniach pro-klienckich czy obniżeniu ich kosztów, to oznacza to, że dysponują one możliwością rozprawienia się z rynkową konkurencją.
Szacuje się, że „żelazna dama z Danii”, nazywana również „goblinem pod łóżkiem Google’a”, może mocno uderzyć po kieszeni firmę Sundara Pichaia i jej gałąź związaną z analityką Big Data. Jeśli unijna komisarz postawi na swoim, to strata największej wyszukiwarki świata może sięgnąć nawet 6,6 mld dolarów. Nie wspominając już o konieczności zastosowania się do regulacji prawnych dotyczących dostępu i przetwarzania internetowych danych przez Google.


4. Microsoft

Gigant z Redmond również może pochwalić się własną platformą DMP. I to nie byle jaką. Niezależna firma analityczna Gartner w swoich raportach „Magic Quadrants” twierdzi, że to właśnie rozwiązania chmurowe autorstwa Microsoft, pozwalające przetwarzać dane i zarządzać nimi w chmurze obliczeniowej (jak np. Azure czy SQL Server), zaliczają się dziś do jednych z najskuteczniejszych sposobów szyfrowania cyfrowych informacji dostępnych na rynku. Firma z Redmond, jako pierwsza na świecie, wdrożyła również międzynarodową normę przetwarzania danych w chmurze publicznej i jako jedyna legitymuje się certyfikatem ISO 27018, gwarantującym bezpieczne i przejrzyste zasady ochrony poufności danych.
Microsoft nie ukrywa, że cloud computing i Big Data to klucz do zrozumienia jego aktualnej strategii biznesowej. Satya Nadella, CEO Microsoft, mówi otwarcie, że strategia jego firmy opiera się właśnie na rozwijaniu rozwiązań chmurowych oraz technologii mobilnych, w myśl zasady: „Cloud-first, mobile-first”. Najwyraźniej te działania wychodzą firmie Billa Gatesa na zdrowie, ponieważ z chmury obliczeniowej Microsoft korzysta dziś ponad 80 proc. firm z listy Fortune 500. Dlatego nie powinien chyba dziwić fakt, że to właśnie na chmurze Microsoft zarabia dzisiaj krocie: przychody z cloud computingu w przypadku firmy Nadelli stanowią prawie 30 proc. całościowego przychodu Microsoftu i przekroczyły już 8 mld dolarów. CEO Microsoft nie zamierza jednak zwalniać tempa i mówi: – Robimy ogromne postępy, chcąc osiągnąć nasz cel, czyli 20 miliardów USD w rocznym komercyjnym przychodzie z chmury, który obecnie przekracza 8,2 miliardy dolarów. To może się udać, ponieważ w kwietniu zeszłego roku Microsoft przejął Revolution Analytics, dostawę platformy Revolution R Enterprise (RRE), na której oparła swój nowy produkt, nazywając go „Microsoft R Server”. To open source’owa platforma, która opiera się na dość popularnym języku programowania „R”. Jej głównym odbiorcą ma być biznes.
Z kolei Joseph Sirosh, Corporate Vice President w Microsoft, podczas konferencji PASS Summit 2015 bardzo mocno podkreślał, że to właśnie za sprawą rozwiązań takich jak cloud computing oraz analityki danych w chmurze obliczeniowej wkraczamy w „epokę danych”. Według szacunków ekspertów rynku, na które powoływał się Sirosh, do 2025 wielkie zbiory danych (Big Data) będą przechowywane niemal wyłącznie w chmurze obliczeniowej i tym samym całkowicie zdominują rynek, wypierając z niego inne (klasyczne) metody przechowywania danych na lokalnych (firmowych) serwerach.

5. Cloud Technologies

Polacy również należą do grona największych graczy rynku platform zarządzania danymi, a jednocześnie – do głównych innowatorów w tej dziedzinie. Behavioralengine.com to platforma DMP autorstwa warszawskiej firmy Cloud Technologies, która jest również najszybciej rosnącą spółką na giełdzie NewConnect. Warszawscy programiści rozpoczęli prace nad tą platformą już w 2011 roku, jeszcze jako mały startup, gdy w Polsce o Big Data mało kto słyszał i niewielu widziało sens w analityce cyfrowych informacji, ani marketingu z wykorzystaniem danych. Po kilku latach behavioralengine.com stał się największym zbiorem samo-uczących się danych o internautach w Europie Środkowo-Wschodniej, który zaopatruje w dane samego Google’a. Obecnie platforma skonstruowana przez warszawskich badaczy danych przetwarza dziennie ponad 5 TB informacji i monitoruje 0,5 mln witryn. W jej zasięgu znajduje się aż 70 mln urządzeń i 20 mln realnych użytkowników. Oznacza to, że zaprogramowana przez Cloud Technologies „myśląca maszyna danych” zna zachowania i preferencje praktycznie każdego polskiego internauty. Dzięki zastosowanym w niej algorytmom potrafi sama dopasować reklamę do konkretnego internauty. Dostarcza również Smarta Data, czyli cennych biznesowo informacji o internetowych konsumentach, które wykorzystywane są przez polską branżę marketingową, bankową, ubezpieczeniową i telekomunikacyjną. Teraz polska spółka zamierza podbić swoim rozwiązaniem rynki zachodnio-europejskie, co może okazać się strzałem w dziesiątkę, ponieważ do platformy Yahoo! brakuje jej naprawdę niewiele. Jak tłumaczy Piotr Prajsnar, CEO Cloud Technologies i główny pomysłodawca warszawskiej platformy DMP: – Wkraczamy w drugą epokę cyfrową, nazywaną w branży również „cyfrowym humanizmem”. Kluczową rolę odgrywają w niej właśnie dane oraz to, co możemy z ich pomocą zdziałać. W grę wchodzą tu zarówno cele dalekosiężne, jak np. analityka predyktywna, która pozwala przewidywać przyszłe zdarzenia z większą dozą skuteczności, ale również cele bliższe, takie jak np. większa personalizacja Internetu. Treści wyświetlane w Sieci, dzięki odpowiedniej analityce danych, będą spersonalizowane, a tym samym – będą lepiej odpowiadały zainteresowaniom samych internautów.

BRAK KOMENTARZY

ZOSTAW ODPOWIEDŹ