Gemius rozsądza spór Money.pl i portali

Nie powinno się porównywać wskaźników dwóch różnych badań, jakimi są Prawdziwy Profil i gemiusTraffic. Pierwsze to badanie user-centric, a drugie to site-centric. Żadnym z pomiarów nie można w dowolny sposób manipulować - wskazuje Marcin Pery, wiceprezes zarządu Gemius S.A. Dodaje, że firma gotowa jest już na publikację wyników badania panelowego, czeka jednak jeszcze na zgodę PBI.

Publikacja artykułu "Czym podszyty jest sukces Money.pl?"(tekst dostępny pod adresem:http://www.internetstandard.pl/news/63834.html ) oraz wywiadu z Arkadiuszem Osiakiem, prezesem Money.pl (http://www.internetstandard.pl/news/64045.html ) wywołała dyskusję na temat metodologii i różnic w badaniach polskiego Internetu. Aby wyjaśnić wątpliwości i pogodzić strony, poprosiliśmy o wyjaśnienia Marcina Perego, wiceprezesa zarządu Gemius S.A., eksperta w dziedzinie badań.

Anna Meller: Podczas polemiki przedstawiciela Money.pl oraz Onet.pl dotyczącej statystyk oglądalności serwisów pojawiły się rozbieżności w traktowaniu systemu gemiusTraffic i badania Prawdziwy Profil. Czy mógłby Pan wyjaśnić różnice w tych dwóch rozwiązaniach?

Gemius rozsądza spór Money.pl i portali
Marcin Pery: Głównym źródłem polemiki i różnych interpretacji wyników badań oglądalności jest nieporozumienie wynikające z prób porównywania de facto „nieporównywalnych” wskaźników prezentowanych w badaniach gemiusTraffic oraz Prawdziwy Profil. Badanie gemiusTraffic jest badaniem typu site-centric, które prezentuje takie wskaźniki oglądalności badanych witryn jak: liczba odsłon, liczba wizyt, czas oraz liczba cookies (małych plików zapisywanych na komputerach internautów identyfikujących użytkowników podczas łączenia się z badaną witryną), zarejestrowanych na badanej witrynie. Badanie gemiusTraffic nie pokazuje, bo technicznie jest to niewykonalne, liczby internautów, którzy odwiedzili badaną witrynę. Natomiast celem badania user-centric o nazwie Prawdziwy Profil (bazującego na wynikach badania gemiusTraffic) jest właśnie oszacowanie liczby internautów – użytkowników odwiedzających badane witryny oraz określenie ich profilu społeczno demograficznego. Tak więc istotne różnice pomiędzy tymi dwoma badaniami występują zarówno na etapie określenia celów badania, jak też metod stosowanych do opracowania wyników.

AM: Dlaczego wyniki gemiusTraffic są wyższe od tych, które pojawiają się w Prawdziwym Profilu?

MP: Rozumiem, że pytanie dotyczy wskaźnika, który wzbudził podczas dyskusji największe emocje, a mianowicie liczby internautów odwiedzających badane witryny internetowe (zasięg). Tak rozumiany wskaźnik szacowany jest w badaniu Prawdziwy Profil (badanie pokazuje, ilu „fizycznych” internautów odwiedziło badaną witrynę), natomiast w badaniu gemiusTraffic nie jest w ogóle pokazywany (badanie pokazuje natomiast, ile cookies zarejestrowano na danej witrynie). Często właśnie te dwa różne wskaźniki są ze sobą bezzasadnie porównywane. Ponieważ w praktyce okazuje się, że niektórzy internauci kasują, co jakiś czas pliki cookies na swoich komputerach (umyślnie bądź przypadkowo np. podczas przeinstalowania systemu operacyjnego), dlatego liczba cookies wskazywana przez system gemiusTraffic jest większa niż liczba osób, które odwiedziły daną witrynę. Z podobną prawidłowością (choć oczywiście na dużo mniejszą skalę) mielibyśmy do czynienia np. licząc liczbę wydanych dowodów rejestracyjnych dla samochodów, która jest większa niż “fizyczna” liczba samochodów (samochody są sprzedawane i ponownie rejestrowane), lub liczbę egzemplarzy wydanych dowodów osobistych, która jest większa niż liczba obywateli (obywatele mogą podczas swojego życia posiadać kilka dowodów osobistych). Wartości wszystkich innych wskaźników (liczba odsłon, liczba wizyt, czas) są takie same w obu badaniach.

AM: Arkadiusz Osiak, prezes Money.pl stwierdził, że system gemiusTraffic nie może być określony mianem badania. Czy Pan się zgadza z tą opinią?

MP: Z tak sformułowaną opinią nie mogę się zgodzić. GemiusTraffic jest badaniem typu site-centric. Myślę, że pan Arkadiusz Osiak użył skrótu myślowego i dyskutując na temat wskaźnika pokazującego liczbę użytkowników badanej witryny chciał w ten sposób dać do zrozumienia, że gemiusTraffic nie jest badaniem user-centric, a liczba cookies pokazywana w badaniu site-centric o nazwie gemiusTraffic jest nieporównywalna do liczby internautów pokazywanej w badaniu user-centric o nazwie Prawdziwy Profil.

AM: GemiusTraffic nazwane zostało również „narzędziem zupełnie nieodpornym na oszustwa związane z zawyżaniem liczby odsłon”. Czy tym narzędziem można w dowolny sposób manipulować?

MP: Z pełnym przekonaniem mogę stwierdzić, że badaniem gemiusTraffic, ani żadnym innym badaniem prowadzonym przez naszą firmę, w tym badaniem Prawdziwy Profil, nie można w dowolny sposób manipulować. Natomiast trzeba uczciwie przyznać, że każde badanie (również w innych mediach, nie tylko w internecie) jest stale narażone na próby manipulacji. Wyniki oglądalności przekładają się bowiem bezpośrednio na wielkość przychodów, więc zawsze znajdą się na rynku takie podmioty medialne, które będą się starały w nieuczciwy sposób „polepszyć” swoje wyniki. Podstawowym zadaniem firmy badawczej jest udaremnianie wszelkich takich prób i konstruowanie takiej metodologii badania, które minimalizuje możliwości manipulowania wynikami badania. Oprócz wszelkich stosowanych przez nas technicznych i proceduralnych zabezpieczeń, jednym z najbardziej skutecznych sposobów walki z tego typu praktykami jest pełne upublicznienie wyników badania oglądalności oraz metodologii badania (taką właśnie próbą jest budowanie na bazie badania Prawdziwy Profil standardu badań polskiego internetu otwartego na wszystkie podmioty rynkowe). Takie rozwiązanie pozwala wszystkim podmiotom na rynku wzajemne kontrolowanie swoich wyników i bardzo szybkie „wyłapywanie” wszelkich prób manipulacji.

AM: Radek Kucko dyrektor ds. badań i rozwoju produktu Onet.pl zaznaczył, że podważanie wiarygodności systemu gemiusTraffic jednocześnie podważa wyniki Prawdziwego Profilu. Potwierdza Pan tą tezę?

MP: Badanie gemiusTraffic jest technologiczną podstawą badania Prawdziwy Profil. Jestem pewien, że nikt z rozmówców nie podważał w rzeczywistości wiarygodności badania gemiusTraffic, a różnice zdań wynikły po prostu z porównywania (nieporównywalnych, jak już wcześniej zaznaczyłem) wskaźników z badania site-centric - gemiusTraffic i badania user centric - Prawdziwy Profil.

AM: Jaki zasięg ma badanie Prawdziwy Profil? Arkadiusz Osiak podkreśla, że PP obejmuje swoim zasięgiem 94% internautów. Zdaniem Mariusza Kuziaka z Interia.pl zasięg jest o ok. 20 punktów procentowych niższy. Kto ma rację?

MP: Paradoksalnie obaj Panowie mają rację. Zasięg jest wskaźnikiem, który zawsze musi być odniesiony do konkretnego okresu, w którym jest on badany. I tak możemy mówić np. o zasięgu dziennym, miesięcznym, kwartalnym czy rocznym. Zasięg kwartalny witryn, które badane są poprzez Prawdziwy Profil, wynosi 94%. Z kolei zasięg miesięczny jest mniejszy o około 20 punktów procentowych.

AM: W wyniku dyskusji powstało pytanie: czy jest jakieś wspólne narzędzie, którym można zmierzyć i zweryfikować oglądalność serwisu, jakim jest Money.pl i portalu – Onet.pl?

MP: Mówiąc o oglądalności witryn i serwisów internetowych mamy na myśli różne wskaźniki oglądalności: liczbę użytkowników (zasięg), liczbę odsłon, liczbę wizyt, czas. Liczba użytkowników pokazywana jest obecnie jedynie w badaniu Prawdziwy Profil. Ponieważ Onet.pl nie zdecydował się być uczestnikiem badania Prawdziwy Profil i do dnia dzisiejszego PBI nie zdecydowało się na upublicznienie wyników badania panelowego, pomimo wysiłków firmy Gemius, nie istnieje dzisiaj możliwość obiektywnego porównania liczby użytkowników serwisów Onet.pl oraz dowolnej innej witryny. Podkreślam, że liczba unikalnych cookies pokazywana w badaniu gemiusTraffic nie może być porównywana z liczbą użytkowników estymowaną w badaniu Prawdziwy Profil. Pozostałe wskaźniki (liczba odsłon, liczba wizyt, czas) pokazywane są jednocześnie przez badanie gemiusTraffic oraz badanie Prawdziwy Profil. Ponieważ Money.pl jest uczestnikiem badania Prawdziwy Profil i jego wyniki oglądalności są ogólnie dostępne, a Onet.pl ma zainstalowany na swoim portalu system gemiusTraffic, porównanie tych wskaźników oglądalności będzie możliwe w chwili upublicznienia przez Onet.pl wyników oglądalności swojego portalu. Decyzję o upublicznieniu wyników badania gemiusTraffic portalu Onet.pl może podjąć jedynie Onet.pl.

AM: Pojawiło się również pytanie o wyniki Polskiego Badania Internetu. Co w tej chwili stoi na przeszkodzie ich publikacji? Kiedy możemy się ich spodziewać?

MP: Bez formalnej zgody PBI publikacja wyników z badania panelowego realizowanego we współpracy z PBI jest niemożliwa, dlatego musimy czekać na podjęcie ostatecznej decyzji przez PBI. Nasza firma dysponuje dzisiaj gotowymi do publikacji wynikami badania panelowego realizowanego we współpracy z PBI. Wszystkie sprawy formalne związane z organizacją realizacji badania zostały przez strony ustalone. Natomiast istotne różnice zdań występują w kwestii kontroli nad metodologią badania oraz formą prezentacji wyników. Ponieważ aktualnie oczekujemy od PBI formalnego ustosunkowania się do naszych propozycji, na obecnym etapie rozmów nie mogę niczego więcej na ten temat powiedzieć.