Megapanel - wiarygodny choć niedoskonały

Jednego możemy być pewni. Wyniki podawane w badaniu Megapanel PBI/Gemius są wiarygodne, jeśli chodzi o oglądalność podawaną dla całych witryn. Schody zaczynają się, gdy weźmiemy pod uwagę podserwisy, jak na przykład usługi pocztowe czy wyszukiwawcze na konkretnych portalach. Chcąc porównać portale ze względu na szczegółowe sekcje potykamy się bowiem o problemy z kategoryzacją, jakich nie jest w stanie rozwiązać PBI, a i Gemius nie ma na nie wpływu.

Megapanel - wiarygodny choć niedoskonały
Problemy są już na poziomie nazewnictwa. Jak porównać oglądalność i liczbę odsłon światowego lidera Google do danych z poszczególnych portali o nieuporządkowanych nazwach: "Onet.pl-Wyszukiwarki-Wyszukiwarka www", do "Wirtualna Polska-Wyszukiwarki, katalogi-Wyszukiwarka" czy "Interia.pl-Wyszukiwawcze". Czy można mieć pewność, że biorąc wyniki tej sekcji dla poszczególnych portali porównujemy dane, które są porównywalne? Może Onet bierze pod uwagę wyszukiwarkę produktów, a WP.pl nie? Nazwy kategorii, choć podobne, wcale nie dostarczają nam odpowiedzi na te pytania.

Bałagan na marginesie błędu

Co gorsza, takie porównania powstają. Na pewno dają pewien obraz ruchu na poszczególnych witrynach, ale nie możemy być pewni, jaki jest margines błędu. Być może te różnice sprawiają, że lider, który prowadzi różnicą 5% wcale nie powinien być na czele rankingu oglądalności danej sekcji.

Niedawno Wirtualna Polska rozesłała informację prasową z której wynikało, że portal prowadzi ze względu na liczbę użytkowników, odsłon i średni czas na użytkownika w kategorii Poczta. Nazewnictwo przynajmniej w tej kwestii jest jednolite. Ale czy na pewno porównujemy dane dotyczące jedynie poczty? U nas ani osoba logująca się na chat, ani na komunikator nie jest zliczana jako użytkownik poczty - zapewnia Wojciech Kądziołka, rzecznik WP. - Natomiast nie odpowiadam za praktyki innych witryn, a wiem że to jest różnie traktowane.

Megapanel - wiarygodny choć niedoskonały

Ranking skrzynek pocztowych wg wyników Megapanelu za luty 2005

Każdy portal sam definiuje kategorie wewnątrz portalu we własnym zakresie i w obrębie porozumień z innymi portalami. Gemius jako firma badawcza sugeruje i zachęca do takiej unifikacji, ale ostateczne decyzje podejmują portale we własnym zakresie. Gemius w to nie ingeruje - wyjaśnia Małgorzata Wołejko, kierownik Działu Realizacji Badania Panelowego w firmie Gemius.

PBI od bałaganu umywa ręce - Kategoryzacja serwisów w obrębie witryn należy do prowadzących je podmiotów. Każdy podmiot może mieć własny pomysł marketingowy na konstrukcję swojej witryny, co również powinno mieć odzwierciedlenie w wynikach Megapanelu PBI/Gemius - wyjaśnia Wojciech Guzik, prezes PBI.

Małgorzata Wołejko przyznaje, że nie wszystkie kategorie w obrębie poszczególnych portali sobie odpowiadają. Oczywiście powód może wydawać się obiektywnie nie do przeskoczenia, czyli wynikać z odmiennej struktury portali. Na przykład Interia, oprócz globalnego serwisu pocztowego, ma pocztę na serwisie Randki. Wszystkie rodzaje poczty Interia umieszcza w kategorii "Poczta" i trudno mieć w tej kwestii o cokolwiek pretensję. Ale nie zawsze tak jest - Struktura portalu WP jest tak zbudowana, że ma jedną stronę logowania wpuszczająca zarówno do poczty jak i czatów, czyli sama strona logowania do poczty na WP jest taka sama jak strona logowania do czatów. - wyjaśnia Małgorzata Wołejko. Przez pewien czas dane dotyczące poczty nie uwzględniały tego podziału. - Obecnie logowanie do czatów i innych miejsc są oddzielone i odrzucone na podstawie różnicy w parametrach URL-a. Podział ten został wprowadzony przez Wirtualną Polskę w ich drzewku mediów, w celu dokonania rozrożnienia.

Jak nas uspokaja Małgorzata Wołejko, każdy użytkownik pliku z wynikami badań może się zorientować, jakie adresy URL są zaliczone do danej kategorii drzewka - klikając po prostu na ikonkę "URL masks". To co jest zaliczane np. do "wyszukiwarek" również jest możliwe do porównania, oglądając URLe zdefiniowane dla tej kategorii ("wyszukiwarki") przez każdy portal. To jednak nie rozwiązuje problemu porównywalności tych wyników.

Aktualizacja: 15 czerwca 2005 14:36

Do tekstu dodaliśmy komentarz Adama Kwaśniewskiego, dyrektora zarządzającego sieci Ad.net.