5 kluczowych systemów Big Data na świecie

Yahoo! ogłosiło stworzenie największego w swojej historii i jednego z największych na świecie zbiorów samouczących się danych o internautach. Platforma zarządzania danymi (DMP, Data Management Platform) autorstwa Yahoo! to „myśląca maszyna”, która zasięgiem obejmuje 20 milionów użytkowników.

5 kluczowych systemów Big Data na świecie

Data Management Platform to – w dosłownym tłumaczeniu – „platforma zarządzania danymi”. DMP to cyfrowe encyklopedie wiedzy o internautach, które swój rozkwit zawdzięczają rynkowi Big Data. Wedle analiz IDC ten ostatni rozwija się już w tempie sześciokrotnie szybszym niż cała branża IT. Mark Zagorski, CEO w eXelate twierdzi, że obecnie od 8 do nawet 10 proc. firm z listy Fortune 100 wykorzystuje platformy DMP, a w ciągu najbliższych 2-3 lat przynajmniej połowa firm z tej listy będzie skorzysta z zewnętrznych hurtowni Big Data. Przyjrzyjmy się zatem samym platformom DMP. Które z nich przechowują najwięcej danych? Innymi słowy: gdzie w Internecie wiedzą o nas najwięcej?

Yahoo!

Platforma DMP autorstwa Yahoo!, której powstanie portal ogłosił na początku tego roku, swoim zasięgiem obejmuje 20 milionów użytkowników. Dziennie gromadzi i przetwarza ponad 13,5 TB danych o zachowaniach i zainteresowaniach internautów, głównie ze Stanów Zjednoczonych. Yahoo! od lutego do maja 2015 roku gromadziło anonimowe dane użytkowników, którzy odwiedzali strony takie jak strona główna samego Yahoo, a także Yahoo News, Yahoo Sports, Yahoo Finance oraz Yahoo Real Estate. Yahoo stworzyło tę platformę z myślą o społeczności akademickiej, w celu dostarczenia aktualnej bazy danych dla młodych naukowców, prowadzących badania oraz projekty dotyczące m.in. maszynowego uczenia. W tym celu firma uruchomiła inicjatywę Yahoo Labs Webscope, w ramach której badacze uzyskują otwarty dostęp do anonimowych i zaszyfrowanych wielkich zbiorów danych o internautach, które wykorzystywać wyłącznie do celów naukowych. Komercyjne korzystanie z tych zasobów jest zabronione.

5 kluczowych systemów Big Data na świecie

Oracle

Platforma DMP autorstwa Oracle należy do jednych z największych na świecie i jest częścią Oracle Marketing Cloud. Samo Oracle tytułuje swoją platformę zarządzania danymi mianem największej platformy marketingowej świata, co według amerykańskiej firmy stało się możliwe dzięki przejęciu BlueKai, czyli firmy, która w skali globy była twórcą największej platformy danych typu third party. Prócz BlueKai platformę DMP autorstwa Oracle w dane zasila ponad 30 dostarczycieli danych typu third party, zaś łączna baza anonimowych profili internautów przekracza już 700 mln. Użytkownicy posegregowani są według ponad 40 tysięcy szczegółowych atrybutów, pozwalających na personalizację programów do marketingu, a tym samym – na zwiększenie precyzji komunikatów reklamowych, wyświetlanych internautom.

5 kluczowych systemów Big Data na świecie

Google

W tym zestawieniu nie mogło oczywiście zabraknąć Google, czyli – przypuszczalnie – największego agregatora danych na świecie oraz jego serwisów do analityki danych, utrzymywanych w chmurze obliczeniowej, czyli: BigQuery, Cloud Data Flow oraz Cloud Pub/Sub. Google kusi swoich klientów tym, że w każdym miesiącu 1 TB danych będzie przetwarzany za darmo. Już teraz z hurtowni danych największej wyszukiwarki świata korzystają zarówno młode startupy, jak i międzynarodowe koncerny. Google to właściciel i zarazem generator gigantycznego zasobu danych: obsługuje ponad 100 miliardów zapytań w wyszukiwarce w skali miesiąca, spośród których aż 1,17 mld to zapytania unikatowe. To dostęp do danych ponad 187 mln unikalnych użytkowników miesięcznie, a łącznie ponad 1 mld użytkowników. Już teraz Google odpowiada za ponad 75 proc. ruchu w wyszukiwarkach w USA.