Tajemnicę audytu wyników PBI przeprowadzonego przez Gemius SA wyjaśnia Marcin Pery

Onet.pl poinformował ostatnio o audycie wyników PBI, jaki z inicjatywy portalu przeprowadziła firma Gemius S.A., wykonawca badania megapanel. Pojawiły się pytania: jak to możliwe, że firma badawcza po wykonaniu pomiaru robi audyt prezentacji własnych wyników? W krótkiej rozmowie z Internet Standard, Marcin Pery, wiceprezes Gemiusa, wyjaśnia, skąd taki pomysł.

Anna Meller: Zacznijmy od tego: jakie są możliwe przekłamania w prezentacji wyników badania PBI?

Tajemnicę audytu wyników PBI przeprowadzonego przez Gemius SA wyjaśnia Marcin Pery
Marcin Pery: Możliwości są dwie. Można zafałszować wyniki badania poprzez prezentowanie nieprawdziwych wskaźników oglądalności (np. nieprawdziwe zasięgi, liczby odsłon, itp.). Można również dokonać manipulacji wynikami badania poprzez prezentowanie rankingów i zestawień nieobejmujących wszystkich podmiotów na rynku, które powinny być objęte takim zestawieniem, a w przypadku tworzenia zestawień obejmujących jedynie część podmiotów na rynku - nie umieszczenie wyraźnych, jasnych i pełnych informacji o wykluczeniach poszczególnych podmiotów z zestawienia i powodach tego wykluczenia.

Jak można takie przypadki wykryć?

Przy prezentacji nieprawdziwych wskaźników oglądalności sprawa wykrycia przekłamania jest rzeczą trywialną, gdyż każdy, kto dysponuje publicznie dostępnymi wynikami badania, może zweryfikować wartości wszystkich prezentowanych wskaźników oglądalności. Oczywistą (i zgodną również ze zdrowym rozsądkiem) kwestią jest to, że niepotrzebny jest tutaj żaden audyt ze strony firmy Gemius - wyniki poszczególnych podmiotów są po prostu takie, jakie są.

A gdy ktoś dokonuje manipulacji?

tym przypadku sprawa jest bardziej skomplikowana. Możliwe są np. takie manipulacje, w których podmiot publikuje swoje wyniki oglądalności na tle niepełnych wyników konkurencji twierdząc, że ma taką a nie inną pozycję w utworzonym przez siebie rankingu. Stosując wybiórcze i tendencyjne zasady doboru konkurentów do takiego rankingu da się udowodnić niemal każdą tezę (np. że jest się liderem w jakiejś tam kategorii).

Czy w takim razie istnieje ryzyko, że Onet.pl manipuluje danymi PBI, skoro zaproponował audyt Gemiusa?

Nasza współpraca z Onet.pl polega na tym, że na prośbę Onet.pl audytujemy ich publikacje pod kątem właśnie tego drugiego kryterium, czyli zapobieżenia możliwym ewentualnym manipulacjom (celowym bądź przypadkowym). Sprawdzamy, czy podając informacje o pozycji swoich serwisów na tle serwisów konkurencji wzięli pod uwagę wszystkich swoich konkurentów, czy prawidłowo skategoryzowali poszczególne witryny itp. Audyt ten wykonujemy bezpłatnie. Podobny audyt możemy wykonywać dla każdego podmiotu, który się do nas o to zwróci. Podkreślam, że nie audytujemy wyników badania, ale sposób ich prezentacji, dlatego takiemu audytowi może być poddana np. każda publikacja pozycjonująca dany podmiot na tle konkurencji lub np. pokazująca jakiś ranking, a nie sam wynik osiągnięty w badaniu.

To zrozumiałe, że tak jak w przypadku badania gemiusAudience, tak i PBI możliwe są manipulacje wynikami pomiaru. Jednakże w przypadku gA nie było mowy o żadnym audycie. Dlaczego ta kwestia pojawia się teraz?

Audyt taki wykonujemy na prośbę Onet.pl. Wcześniej nikt się do nas o to nie zwracał, więc go po prostu nie wykonywaliśmy.

Najbardziej niejasna jest sprawa samego słowa audyt, które wykonuje zwykle podmiot zewnętrzny ze względu na nacisk na obiektywizm. A w przypadku PBI Gemius jest wykonawcą badania i jednocześnie audytorem. To rzeczywiście może rzucać cień na wiarygodność wyników...

Nie może być tutaj mowy o żadnej niejasności. Przeprowadzany przez nas audyt nie polega na sprawdzaniu poprawności samych wyników - wartości wskaźników - one są takie, jakie są i nie potrzebujemy ich i nie zamierzamy ich jeszcze dodatkowo poświadczać. Audyt polega w skrócie na tym, że sprawdzamy, czy podmiot przygotowujący rankingi i zestawienia wziął pod uwagę całe otoczenie, wszystkich swoich konkurentów i nie zmanipulował przekazem sugerując np., że ma inną pozycję niż mają w rzeczywistości, lub np. czy stosując taką a nie inną systematykę kategorii tematycznych nie zdefiniował kategorii tematycznej tendencyjnie, w celu udowodnienia z góry założonej tezy. Reasumując: nie sprawdzamy (bo nie ma to żadnego sensu) wyników przygotowanych przez nas, lecz sprawdzamy publikacje innych podmiotów pod kątem ewentualnych manipulacji.

Czy audyt będzie obowiązkowy w przypadku wszystkich 3 tys. badanych witryn?

Nie. Nie jest i nie będzie on obowiązkowy.

Czy Gemius jest przygotowany na to, by przeprowadzić audyt chociażby w jednej trzeciej badanych pomiotów, które będą publikowały wyniki badania?

Wykonamy bezpłatnie podobny audyt dla każdego podmiotu, który się do nas zgłosi z prośbą o audyt jego publikacji dotyczącej zestawienia lub rankingu pozycjonującego go na tle innych witryn. Istotna rzecz wyróżniająca Onet.pl to fakt, że podjął decyzję o stałej współpracy w tym zakresie, co w obliczu zamieszania medialnego z ostatnimi publikacjami stanowi w mojej opinii rzecz godną naśladowania.

Dziękuję za wyjaśnienia

Weź udział w naszej sondzie