Tajemnica podwójnych i potrójnych skryptów: czy badanie PBI mówi prawdę?

Na stronach portalu Onet.pl znaleziono wpięte podwójne i potrójne skrypty badawcze mierzące dane dla PBI. "To błędne skrypty" - wyjaśnia Mariusz Biedrzycki, dyrektor komunikacji marketingowej portalu. Dodaje, że taką samą konfigurację znaleźć można również na konkurencyjnych witrynach. Czy to oznacza, że pierwsze opublikowane wyniki badania PBI nie są dokładnie takie, jak być powinny?

Jak nas poinformowano, Onet na niektórych swoich podstronach miał zainstalowane podwójne bądź potrójne skrypty Gemiusa, a ten fakt opóźnił opublikowanie drugiej edycji wyników badania PBI (dane za listopad 2004). To nadinterpretacja - skomentował Mariusz Biedrzycki z Onetu - Chodzi o śladową część oglądalności portali (nie tylko Onet.pl!), wyliczoną błędnie z powodu błędnych skryptów.

Szef komunikacji marketingowej Onetu przyznaje jednak, że podwójne i potrójne skrypty Onet miał zaszyte w swoich serwisach. Dzięki badaniu zweryfikowano poprawność rozmieszczenia skryptów na stronach portali i oczywiście innych witryn w internecie - zaznaczył - Błędy znalazły się na wybranych stronach Onet.pl, WP, Interii i oczywiście na innych witrynach poza portalami. Niektóre z błędnie założonych skryptów zostały wyłapane dopiero po analizach porównawczych serwisów podobnego typu na różnych witrynach - nie tylko wielokrotnie założone skrypty, ale również skrypty w miejscach, w których nie powinno ich być. Z drugiej strony udało się znaleźć serwisy, na których w ogóle nie było skryptów - ich oglądalność nie była mierzona.

Gemius potwierdza obecność wielokrotnych skryptów na serwisach portali. Sprawa dotyczy nie tylko Onetu - wskazał Marcin Pery, wiceprezes Gemiusa - Wkrada się czasem błąd techniczny związany z wklejaniem skryptów audytujących - mogą się tu zdarzyć przypadki podwójnie wklejonych skryptów, jak też odwrotna sytuacja, np. nieumieszczenie skryptów audytujacych. Wszystkie takie przypadki są przez nas monitorowane i na bieżąco poprawiane. Szacujemy też ich wpływ na ostateczne wyniki badania.

Rozbieżność w wynikach

Zdaniem Onetu sytuacja nie ma wpływu na wyniki badania dotyczące portali. Przy tak dużych liczbach odsłon pojedyncze błędy w umieszczeniu skryptów nie mają znaczenia dla całkowitej oglądalności portalu, jest to śladowa część oglądalności - powiedział Mariusz Biedrzycki. Dodał jednak, że w jego ocenie w przypadku małych witryn - błędy wyraźnie zmieniają ich oglądalność. Wyniki listopadowe mogą się różnić od październikowych, ale w żadnym wypadku nie znaczy to że badania są niewiarygodne - zaznaczył przedstawiciel Onetu - Badanie panelowe jest w dużej mierze zależne od technologii i zapewne tego typu przypadki będą się pojawiały przez cały czas jego trwania, ale zarówno Gemius jak i PBI, a dokładnie rada badania będą błędy wyłapywać i na bieżąco poprawiać. Dokładnie taki sam proces ma miejsce w badaniach telemetrycznych.

Również Gemius próbuje uspokoić. Dotychczas znalezione takie przypadki nie powodowały powstania błędów dla poszczególnych portali większych niż kilka promili, i to tylko dotyczących jednego wskaźnika: liczby odsłon - zaznaczył Marcin Pery - Tak więc można z powodzeniem uznać, że ich wystąpienie nie ma istotnego wpływu na poprawność prezentowanych wyników badania.

Przypomnijmy jednak, że liczba odsłon stanowiła ważny element kampanii marketingowej Onetu.

Musimy się zatem liczyć z rozbieżnościami w liczbie odsłon w wynikach listopadowych. To, co jednak zastanawia najbardziej, to przede wszystkim fakt, dlaczego tego typu "błędne skrypty" nie zostały wychwycone wcześniej. Tym bardziej, że członkowie PBI mogli swoje wyniki oglądać na bieżąco na długo jeszcze przed ich oficjalną publikacją.

Wojciech Kądziołka, rzecznik prasowy Wirtualnej Polski

Odpowiedź Wirtualnej Polski na komentarz przedstawiciela Onetu sugerującego obecność podwójnych skryptów na stronach WP

Onet tłumaczy się z obecności kilkukrotnego skryptowania, kwestionując jakość badań, do których Wirtualna Polska nie ma zastrzeżeń. Na podkreślenie zasługuje fakt, że to właśnie na liczbie odsłon krakowski portal buduje swój wizerunek.

Mariusz Kuziak, dyrektor marketingu Interia.pl

Interia.pl ma na swoich stronach czasem nawet kilka skryptów systemu gemiusTraffic, ale tylko jeden z tych skryptów jest skryptem audytowym, uwzględnianym w wynikach badania. Ani podwójnych ani potrójnych skryptów audytowych na naszym portalu nie było i nie ma.

Błąd wspomniany przez przestawiciela Onetu nie polegał na zwielokrotnieniu skryptów. Dzięki intensywnemu researchowi, prowadzonemu przez wszystkie strony zaangażowane w PBI, także przez nas, wykryte zostały braki w oskryptowaniu bazy prawnej - serwisu nettax.interia.pl. Straciliśmy na tym oglądalność rzędu 0,02% liczby odsłon całego portalu, czyli dużo poniżej błędu statystycznego przyjętego dla tego typu badań. Nie ma więc mowy o żadnej aferze czy skandalu wokół wyników PBI, jak to jest przedstawiane.

Gemius wyjaśnia

Stanowczo oświadczamy, że występujące pomyłki w oskryptowywaniu stron podmiotów biorących udział w badaniu Megapanel PBI/Gemius (polegające np. na nieoskryptowywaniu niektórych stron, oskryptowywaniu podwójnie niektórych stron, wklejaniu skryptów niezgodnie z przyjętymi zasadami) nie wpływają istotnie na ostateczne wyniki badania. Pomyłki takie są odosobnionymi przypadkami, zdarzają się rzadko i są natychmiast identyfikowane i korygowane. Firma Gemius S.A. oraz Rada Badania Megapanel PBI/Gemius dysponują procedurami kontrolnymi, które pozwalają takie błędy na bieżąco wynajdywać i usuwać. Manipulowanie w ten sposób wynikami badania przez którykolwiek z badanych podmiotów jest wykluczone - procedury kontroli prawidłowości oskryptowywania poszczególnych stron są całkowicie przejrzyste. Bardzo istotny jest tutaj fakt, że kontrola prawidłowości wklejania skryptów może być prowadzona nie tylko przez Radę Badania, firmę Gemius czy witryny objęte badaniem, ale także przez każdego kto tylko zechce spojrzeć w kody źródłowe badanych stron internetowych.

Chcielibyśmy jeszcze raz podkreślić, iż ewentualne pomyłki w podwójnym oskryptowaniu stron nie wpływają w żaden sposób na wartości wskaźników: "liczba użytkowników (real users)", "liczba sesji" czy "czas spędzany przez internautów na badanych witrynach". W przypadku wartości wskaźnika "liczba odsłon" oszacowane błędy spowodowane pomyłkami we wklejeniu skryptów, wykrytymi i poprawionymi w ostatnim czasie na portalach, nie przekraczają kilku promili łącznej liczby odsłon wygenerowanych na poszczególnych portalach. W przypadku, gdy jakiekolwiek inne dostępne wyniki badań podawane są z dokładnością kilkuprocentową, występujące w badaniu Megapanel PBI/Gemius poziomy błędów wynikające z pomyłek w oskryptowywaniu stron dla jednego ze wskaźników można uznać za nieistotne.

Jeżeli ktokolwiek ma jakiekolwiek dowody umyślnej manipulacji, polegającej na wielokrotnym oskryptowaniu stron, zapraszamy do ich ujawnienia. Firmie Gemius i Radzie Badania Megapanel PBI/Gemius są one nieznane.

Aktualizacja: 21 lutego 2005 14:05

Dodaliśmy wypowiedź Mariusz Kuziaka z portalu Interia.pl

Aktualizacja: 18 lutego 2005 23:17

Dodaliśmy wypowiedź Wojciecha Kądziołki, rzecznika prasowego WP.pl