Konstruktywna krytyka raportu Gemiusa

Trudno się spierać, że lojalny użytkownik jest lepszym użytkownikiem niż przypadkowy. Problem powstaje jednak już na płaszczyźnie definicji owego lojalnego użytkownika. Definicja ostatnio ustalona przez Gemius i wykorzystana w raporcie nie spodobała się praktycznie nikomu.

W serwisie Internet Standard, zanim jeszcze pojawił się raport z badań nad lojalnością użytkowników dla pierwszej dwudziestki witryn o największej liczbie użytkowników, trwała sonda, której pytanie brzmiało: "Który wskaźnik uważasz za najważniejszy przy określaniu popularności danego serwisu?" Do momentu pojawienia się artykułu o raporcie zdecydowana większość naszych czytelników odpowiadała, że najlepszym miernikiem popularności jest liczba lojalnych użytkowników. Po publikacji uaktywniła się grupa zwolenników podstawowego dotąd wskaźnika, czyli liczby użytkowników. Większość serwisów poczuła się zagrożona kolejnymi zestawieniami, których liderem jest Onet, czy też przez głosowanie na odmienny wskaźnik dała do zrozumienia, że nie podoba się im definicja lojalności.

Adam Kwaśniewski, dyrektor zarządzający Ad.net
Paradoksalnie (i nie dotyczy to tylko internetu, ale każdego medium) nośnik o małej powracalności odbiorców może być, badawczo rzecz biorąc, bardziej atrakcyjny dla potencjalnych reklamodawców.

Jeśli każdy numer tego samego czasopisma czytają dokładnie te same osoby - zasięg kampanii prowadzonej przy użyciu danego tytułu jest stały. Po osiągnięciu efektywnej częstotliwości nie ma sensu prowadzenie dalszych działań reklamowych. Jeśli zaś ma ono określoną tematykę, gwarantując zainteresowanie wybranej demograficznie i behawioralnie grupy osób, a mimo to czytelnicy rotują się - reklamodawca dociera do coraz to nowych osób z interesującego go segmentu, kontynuując kampanie może zwiększać jej zasięg. Skrajnym przykładem takich czasopism mogą być np. pisma poświęcone ślubom - czytane zazwyczaj nie dłużej niż kilka miesięcy, idealnie dopasowane.

Idąc zaś tropem metodologii zaprezentowanej przy okazji artykułu z cyklu poświeconemu "wskaźnikowi lojalności na witrynach internetowych"- lojalność wobec cukru jest miażdżąca w porównaniu do lojalności w stosunku do samochodów Porsche. Prawda, że idiotyzm?

Nawet zaś odnosząc się to podmiotów o takiej samej skali - jeśli weźmiemy dwa internetowe serwisy o zbieżnej tematyce i grupie odwiedzających, różniących się lojalnością, to handlowcowi którego tytułu dalibyście się Państwo przekonać do stałej, długofalowej współpracy? "U nas wiecznie Ci sami odwiedzający" kontra "Przyciągamy coraz to nowych internautów zainteresowanych daną tematyką, poszukujących informacji na ten temat".

Podsumowując - to są wszystko oczywiście pewnego rodzaju uproszczenia, ale zdecydowanie większym nadużyciem jest moim zdaniem gloryfikowanie "internetowej lojalności" - arbitralnie narzucanej i mętnie uzasadnianej.

Gdy wydawcy z pierwszej dwudziestki spoglądają na wyniki przytaczane przez raport, mogą stracić pewność siebie. Przykładowo 48% użytkowników o2.pl, 63% portalu Gazeta.pl i 78% użytkowników Wikipedii, oraz 85% Gery.pl to goście przypadkowi.

Tylko co kryje się za stwierdzeniem, że są to użytkownicy przypadkowi? Wskaźniki zaproponowane przez firmę Gemius są pochodne dwóm: liczbie wizyt i liczbie odsłon. W arbitralność ustalenia ile wizyt i ile odsłon musi dokonać użytkownik, by być zaliczony do grupy lojalnych czy przypadkowych uderza kilku krytyków ostatniego raportu. Wytyka to Gerard Grech, wykorzystując intuicyjne rozumienie lojalności jako cechy, która nie tyle wiąże się z częstotliwością danej czynności, lecz z jej powtarzalnością. Mówi mianowicie - Nazwanie użytkownika, który wraca 16 razy do serwisu, użytkownikiem lojalnym jest nadużyciem, jeżeli badanie robione jest na całej populacji internautów. Aby się o tym przekonać wystarczy spojrzeć w ogólne badania użytkowników i sprawdzić, jaki procent z nich korzysta 16 razy w miesiącu z internetu. Badanie należałoby dokonać na pewnej grupie użytkowników, grupie, która ma dostęp do internetu na codzień, wtedy odzwierciedlałoby rzeczywistość, a nie na całej populacji w której są również osoby mające kontakt z internetem dwa razy w miesiacu, co wcale nie znaczy, że nie są użytkownikami lojalnymi któregoś z serwisów. Bardzo podobny argument przywołuje Michał Celiński, specjalista ds. badań rynkowych, CR Media Consulting oraz Michał Brański w pierwszej części swojej argumentacji. Do wglądu w ramkach obok.

Ustalenie definicji, na którą zgodzą się wydawcy, a przynajmniej ich większość, wydaje się kluczowe w obliczu informacji, że raporty dotyczące lojalności użytkowników mają się pojawiać co kwartał. Na pewno lojalność nie jest wskaźnikiem pozbawionym sensu. Nawet Ad.net przywołuje go w ostatnim komunikacie prasowym mówiącym o przyłączeniu Grono.net do swojej sieci, mimo iż Adam Kwaśniewski zgłasza wobec niego wątpliwości.

Dyrektor zarządzający sieci Ad.net wykazuje - posługując się analogią - że często to, co w oczach reklamodawców może być z pozoru pożądaną cechę, często obraca się przeciwko nim, zmniejszając skuteczność kampanii. Czyli w uproszczeniu: jeśli dany serwis ma niski poziom rotacji użytkowników, tym trudniej reklamodawcy dotrzeć do grupy potencjalnych nowych nabywców reklamowanego produktu czy usługi.

Rozsądny wydaje się też inny argument, wysuwany przez krytyków raportu. W zestawieniu pokazano "lojalność" użytkowników wszystkich serwisów z pierwszej dwudziestki o najliczniejszej liczbie użytkowników (real users), nie biorąc pod uwagę funkcjonalnych różnic pomiędzy nimi. Naturalnie internauci inaczej korzystają z wyszukiwarek takich jak Google, czy internetowych encyklopedii jak Wikipedia, a inaczej z portali horyzontalnych. Nie mówiąc już o stronie Gadu-Gadu, z której można pobrać aplikację, dla której wskaźnik lojalności jest zupełnie pozbawiony sensu. Rozsądne byłoby więc wprowadzenie modyfikacji wynikających ze konieczności odróżnienia sposobów korzystania z wyszukiwarek czy kompendiów wiedzy.

Po pierwszych głosach krytyki, burza minęła. Andrzej Purchla, analityk portalu Gazeta.pl wyjaśnia -przyjrzeliśmy się bliżej wynikom opublikowanym przez firmę badawczą. Rozmawialiśmy w tej sprawie z Gemius, który wyjaśnił większość naszych wątpliwości. Raport uważamy za interesujący, chociaż, jak każde dane oparte na losowanych próbach, wiemy, że obarczony jest błędem pomiaru. Niewątpliwie tego typu zestawienia można robić na wiele różnych sposobów - lepiej, lub gorzej, od tego co zostało zaprezentowane - mówi dość enigmatycznie. Miejmy nadzieję, że Gemius weźmie pod uwagę głosy konstruktywnej krytyki. Całej branży zależy, by wyniki pochodzące w Megapanelu cieszyły się powszechnym zaufaniem.

Michał Brański, członek zarządu o2.pl
Pierwsza wątpliwość dotyczy arbitralności w definiowaniu lojalności użytkowników. Autorka zestawienia, Karolina Burzyńska-Janik, dochodzi do nieuprawnionym naszym zdaniem wniosków o tym, że ktoś, kto odwiedził witrynę 10 razy w ciągu miesiąca, nie jest lojalny. Bzdura. Proszę zwrócić uwagę, że ilość tych wizyt nie jest (nie musi być) skorelowana z lojalnością, bądź jej brakiem, lecz dotyczy raczej kwestii dostępu do sieci. Statystyki użytkowania naszych usług pokazują, że są wśród użytkowników również internauci korzystający z dużą regularnością i powracający, lecz nie co dzień. Czemu oni są nagle klasyfikowani jako "sporadyczni", czyli w domyśle "mało lojalni", kiedy są lojalni (zresztą zazwyczaj bardzo lojalni, bowiem przywiązują się do tego jednego miejsca), lecz nie posiadający na co dzień dostępu.

Druga sprawa - o większym znaczeniu dla badania - to porównywanie serwisów o różnym charakterze i profilu pod kątem tego jednego jedynego czynnika. Pragnę zwrócić uwagę na to, że ten współczynnik lojalności można by rozpatrywać wyłącznie na zasadzie porównań "poczta Onet.pl a poczta Wp.pl a poczta o2.pl", a nie "całość Onet.pl a całość Wp.pl a całość o2.pl". Wtedy potrafilibyśmy ocenić, jak dobre i "lepkie" są konkretne serwisy i usługi.

Zdarzyć się może bowiem tak, że portal A posiadający 100 solidnych serwisów, z których internauta korzysta 1-2 razy w miesiącu, odnotuje 100-200 wizyt dla jednego internauty, a portal B posiadający 10 świetnych serwisów, z których internauta korzysta 5-6 razy w miesiącu, odnotuje 50-60 wizyt dla internauty. Kto ma bardziej lojalnych użytkowników konkretnych usług i serwisów? Portal B. A który lepiej wypada w definicji Karoliny

Burzyńskiej-Janik? Portal A. Czyli drugi nonsens, który wykazany jest tutaj w dużym uproszczeniu.

Michał Celiński, specjalista ds. badań rynkowych, CR Media Consulting

Myślę, że jestem dosyć lojalnym konsumentem. Od wielu lat mam swojego ulubionego producenta sprzętu audio, jestem też od kilku miesięcy wierny pewnej marce płatków śniadaniowych. Gdyby koledzy z Gemiusa opublikowali wielkie zestawienie lojalności wobec wszelkich dostępnych na światowych rynkach produktów, managerowie odpowiedzialni za sprzedaż mojej ulubionej marki sprzętu audio, niechybnie popełnili by harakiri, natomiast producent płatków śniadaniowych święcił by triumfy. A wszystko tylko dlatego, że płatki kupuję kilka razy w miesiącu a sprzęt audio raz na kilka lat....

Podstawowym błędem jaki popełnił Gemius tworząc "ranking lojalności" było potraktowanie Internetu jako jednolitej, bezbarwnej masy adresów url. A przecież Internet to miliony miejsc o niezwykle zróżnicowanej treści. Użytkowanie każdej z witryn, ze względu na ich zawartość, przybiera inne kształty. Nie można zestawiać ze sobą w jednym rzędzie portalu (typ "wszystkie informacje w jednym miejscu") z np. stroną firmową gadu-gadu.pl, której podstawową funkcją jest informowanie o dostępnych uaktualnieniach komunikatora. Ranking mógłby mieć sens gdyby porównywano witryny o podobnej tematyce i funkcjonalności np. tylko witryny o tematyce sportowej oferujące śledzenie meczów ligowych "na żywo".

Mógłby, ale dopiero po gruntownym przebudowaniu definicji lojalności wobec serwisu. Wg przyjętych przez Gemiusa założeń lojalność jest cechą określającą jedynie osoby często dokonujące odsłon na danym węźle url-ów. Jest to niewybaczalne uproszczenie - lojalność jest wszak definiowana przez cały szereg postaw wobec marki - począwszy od jej rozpoznawalności, przez jej wizerunek na tle konkurentów, na częstości użytkowania skończywszy. Lojalności konsumentów nie można określać w warunkach oderwania od rynkowego tła. Z niewiadomych przyczyn Gemius nie pokusił się o analizę z wykorzystaniem chociażby wzbogaconą o współoglądalność. Przecież lojalny konsument to osoba o specyficznych, konserwatywnych postawach wobec wybranej przez siebie marki.

W obecnym kształcie, ranking przedstawiony przez Gemiusa jest jedynie innym sposobem prezentacji wyników oglądalności niechlujnie dobranych witryn. Aspiracje do podpisywania tego sposobu zestawienia danych jako rankingu lojalności wydają się być cokolwiek niestosowne.

Odpowiedź Marcina Pery, wiceprezesa Gemius
Na początku chciałbym bardzo podziękować za słowa rzeczywiście konstruktywnej krytyki. Wierząc, że rozpoczęliśmy tym samym dyskusję całej branży internetowej, stanowiącą swoistą próbę zmierzenia się z problemem zmierzenia lojalności użytkowników witryn internetowych, pozwolę ustosunkować się do kilku najważniejszych kwestii:

1. kwestia "rankingu"

Przygotowując analizę o rozkładach częstotliwości wizyt i odsłon internautów dla największych polskich witryn (zachęcamy do zapoznania się z pełnym tekstem przygotowanej przez nas analizy, zawierającym bardziej szczegółowe dane:http://files.audyt.gemius.pl/news/gemius/2005_08_24_lojalnosc_gemius.pdf nie było naszym celem tworzenie jakichkolwiek rankingów bądź wartościowanie witryn. Chcieliśmy pokazać, że oprócz liczby użytkowników (real users) i względnego zasięgu są również inne istotne parametry charakteryzujące użytkowników witryn internetowych, związane np. z rozkładami częstotliwości odwiedzenia tych witryn. Mam wrażenie, że opublikowanie przez redakcję IS (tu mój szeroki uśmiech w kierunku Pani Redaktor) skrótu analizy pod hasłem "ranking" może być odebrane jako pozycjonujące witryny pod kątem "jakości". Tymczasem o tym czy dana witryna jest rzeczywiście "lepsza" czy "gorsza" nie świadczą jedynie proporcje poszczególnych rozkładów częstotliwości. Dlatego rację mają moi adwersarze wtedy, kiedy twierdzą, że na podstawie rozkładu częstotliwości nie można wyciągać automatycznych wniosków wartościujących witryny. Tym bardziej nieuprawnione jest na podstawie takich rozkładów twierdzenie zbytnio upraszczające rzeczywistość, typu: "ta witryna cieszy się większą lojalnością użytkowników, a ta mniejszą".

2. kwestia nazewnictwa zaproponowanych grup internautów

Przyznaję, że w tym przypadku my zrobiliśmy błąd (zresztą błąd tego samego typu jaki popełniła redakcja IS tworząc z dostarczonej analizy skrót w postaci "rankingu"). Nazwy trzech wybranych grup celowych: użytkownicy "przypadkowi", "okazjonalni", "lojalni" nie są dobrymi nazwami. Kojarzą się one bowiem z oceną "jakości" internautów i czytając zestawienia procentowe można ulec sugestii, że jak jakaś witryna ma więcej użytkowników "lojalnych", to jest "lepsza". Błąd polegał na tym, że w ogólności rozkład częstotliwości nie jest kryterium rozstrzygającym o "lojalności" rozumianej w sposób jak najbardziej naturalny i bezpośredni. Podane przez kolegów przykłady z dobrami szybkozbywalnymi i luksusowymi są tego ewidentym dowodem. Wybierając proste nazwy dla poszczególnych grup internautów kierowaliśmy się chęcią przybliżenia wyników analizy mniej zaawansowanym odbiorcom i ułatwienia tym samym zrozumienia głównego jej przekazu (grupy internautów istotnie różnią się pod względem rozkładu częstotliwości korzystania z witryn internetowych) oraz posługiwania się prostym i intuicyjnym nazewnictwem. Czasami jednak "lepsze" jest wrogiem "dobrego" i w tym przypadku zaproponowane nazewnictwo nie było trafione, za co przepraszamy. Na swoją obronę mamy wprawdzie bardzo istotny fakt - w wielu krajach przyjmuje się podobne nazewnictwo, jednakże nie jest moim celem zasłanianie się teraz przykładami innych krajów. Ponieważ w praktyce trudno posługiwać się określeniami typu: "użytkownicy, którzy wykonali nie mniej niż X wizyt i nie więcej niż Y wizyt w miesiącu" w moim odczuciu konieczne jest stworzenie systematycznej klasyfikacji i wybór stosownych, odpowiednich nazw dla poszczególnych grup internautów. Wierzę, że moi koledzy z firm internetowych nam w tym aktywnie pomogą.

3. kwestia definicji grup internautów

Wielokrotnie pojawiły się argumenty na temat arbitralności wyboru definicji poszczególnych grup internautów. Jak można sprawdzić w źródłowym tekście przygotowanej przez nas analizy, zaproponowane przez nas definicje są tak dobrane, aby przekazać jak najwięcej informacji o analizowanych witrynach (a informacjami w naszym przypadku są różnice występujące pomiędzy witrynami). Dlatego wybór takich a nie innych przedziałów został dokonany na podstawie analiz rozkładów częstotliwości w taki sposób, aby pokazać jak najwięcej różnic pomiędzy analizowanymi witrynami. Wierzę, że spokojna i rzeczowa analiza bardziej szczegółowych rozkładów dostępnych w dokumencie źródłowym upewni wszystkich, że wybór wlaśnie takich definicji poszczególnych grup był naturalny i wynikał ze specyficznych charakterystyk rozkładu częstotliwości. Możliwa jest oczywiście np. dyskusja, czy pierwszą grupę możnaby zdefiniować jako przedział od 1 do 3 wizyt w miesiącu (zamiast od 1 do 2 wizyt w miesiącu). Rozumiem, że dla poszczególnych witryn może mieć to jakieś znaczenie, choć w mojej opinii, o ile kryteria będą jednakowe dla wszystkich, to z udostępnionych w analizie szczegółowych rozkładów wynika, że znaczenie to nie jest zasadnicze.

4. kwestia zarzutu, że analiza powinna uwzględniać dane nie wszystkich internautów, ale np. tych którzy częściej korzystają z internetu

Z powyższym zarzutem się nie zgadzam. Oczywiście możliwe jest przygotowanie dodatkowych analiz, uwzględniających zawężone grupy internautów. Jestem jednak przekonany, że przygotowana analiza dotycząca wszystkich internautów (zgodnie z definicją jest to użytkownik internetu, który przynajmniej raz w miesiącu odwiedził jakąkolwiek witrynę internetową) jest w pełni wartościowa właśnie dlatego, że można ją zestawić z wynikami oglądalności w miesiącu (w tym z liczbą użytkowników (real users)). Ponadto, biorąc pod uwagę fakt, że każdego dnia aktywnych w internecie jest aż połowa internautów, a w tygodniu odsetek ten wynosi aż 90%, to co najmniej ryzykowne jest stawianie tezy, że inne tendencje pokaże analiza rozkładu częstotliwości używania internetu dla internautów, którzy częściej w ogóle wchodzą do sieci. Prawa statystyki są nieubłagane - wyniki nie mogą się istotnie różnić. Charakterystyki rozkładów częstotliwości dla tych użytkowników na poszczególnych witrynach będą analogiczne.

5. kwestia analizy całych witryn i portali

Od początku zamierzaliśmy, po opublikowaniu pierwszych ogólnych informacji o rozkładach częstotliwości dla największych witryn, przygotować analogiczne analizy dla witryn i serwisów w poszczególnych kategoriach tematycznych. Zgadzam się, że analizy takie będą o wiele ciekawsze i będą niosły za sobą o wiele więcej informacji (choć jednocześnie nie mogę się zgodzić z sugestią, że przygotowana przez nas analiza największych witryn - w tym portali - takich ważnych informacji nie zawiera :) ). Jednak "nie od razu Kraków zbudowano"... Zaczęliśmy od analizy rozkładu częstotliwości dla witryn, dla których co miesiąc są publikowane zestawienia głównych wskaźników oglądalności. W najbliższym czasie zaprezentujemy analogiczne analizy dla mniejszych witryn i poszczególnych serwisów tematycznych portali.

Na koniec jeszcze raz pozwolę sobie wyrazić nadzieję, że jest to początek ważnej i według mnie bardzo potrzebnej dyskusji branży internetowej na temat różnych wskaźników charakteryzujących sposoby korzystania przez internautów z witryn internetowych, w tym na temat mierzenia "lojalności użytkowników". Choć intuicyjnie wszyscy "czujemy" co oznacza pojęcie "lojalność użytkowników", w badaniach musimy posługiwać się obiektywnymi kryteriami oceny. Jestem niestety przekonany, że wypracowanie takich kryteriów nie będzie w pełni zgodne z intuicyjnymi ocenami wszystkich zainteresowanych. Pomimo to, po zapoznaniu się z wypowiedziami moich kolegów z branży, jestem dobrej myśli.

Aktualizacja: 01 września 2005 11:21

W ramce pod tekstem pojawiła się odpowiedź Pana Marcina Pery na zarzuty stawiane raportowi dotyczącemu lojalności internautów.