Mętne badania: kogo i jak badało SMG/KRC?
-
- Magdalena Górak,
- 08.12.2004, godz. 09:51
Na zlecenie Media&Marketing Polska firma badawcza SMG/KRC przeprowadziła badania satysfakcji z usług biur reklamy internetowej. W badaniu pominięto kilku ważnych graczy, wzięto natomiast pod uwagę kilku małych. Wszystko wskazuje też na to, że manipulowano kryteriami oceny.
Tygodnik branżowy Media i Marketing Polska co roku publikuje raporty specjalne, w tym raport "Biura Reklamy", w którym prezentowany jest poziom satysfakcji klientów z oferty i obsługi w biurach reklamy. Jak można przeczytać na stronie internetowej Media&Marketing Polska , "każdy z portretów zawiera ocenę pracy biura sporządzoną na kilku fundamentalnych wymiarach (np. elastyczność, przejrzystość polityki cenowej, szybkość reakcji na potrzeby klienta)". Poniższy wykres prezentuje oceny przyznane badanym biurom reklamy. Można go znaleźć na stronie sieci reklamowej Ad.net.
Ocena biur reklamy internetowej wg. badania SMG/KRC
źródło: strona Ad.net
Wątpliwość pierwsza: racjonalne kryteria oceny czy emocje?
Naszym zdaniem, formułowanie oceny biur reklamy na podstawie od 11, w przypadku WP, do 15 wywiadów (dla innych podmiotów) jest co najmniej nieporozumieniem. Media i Marketing tworzy fakty medialne publikując wyniki badań, które nie spełniają, wedle ogólnie przyjętych zasad, żadnych wymogów reprezentatywności. Przedstawienie rankingu biur na podstawie wypowiedzi kilkunastu osób nie ma nic wspólnego z badaniem oceny poziomu satysfakcji klienta. Formułowanie wniosków dotyczących pozycji Biura Reklamy Wirtualnej Polski w oparciu o 11 wypowiedzi z rynku jest co najmniej mało poważne i mija się z rzetelną prezentacją oceny satysfakcji klientów.
Media Marketing podkreślił, że w tym roku nie pokazuje portretów biur reklamy internetowej ze względu na zbyt niską liczbę respondentów. Z tego właśnie powodu nie powinien także publikować wyników dotyczących biur reklamy internetowej, bądź winien, w naszej opinii, wyegzekwować od firmy badawczej większą liczbę przeprowadzonych wywiadów. Dobór podmiotów badanych pozostawia także wiele do życzenia. Termin badania, głównie lipiec i sierpień (7.07 - 14.09), mógł mieć wpływ na niska liczbę osób biorących w nim udział.
Według badania satysfakcji 14 klientów - przedstawicieli domów mediowych i agencji reklamowych - najlepszym biurem reklamy internetowej okazał się Ad.net. Według Adama Wysockiego, dyrektora ds. Obsługi Klientów Ad.net "zostaliśmy w szczególności nagrodzeni za szybkość obsługi klientów oraz dopasowanie do ich potrzeb".
Jak się jednak okazuje Onet.pl zwyciężył w 5 na 7 wymiarów, wypadając lepiej niż Ad.net, ale zajął drugie miejsce. Nasuwa się więc naturalne pytanie o metodologię badań, którego nie omieszkał zadać Radosław Kucko, dyrektor ds. badań i rozwoju produktu Onet.pl. Oto odpowiedź, jaką uzyskał od Barbary Krug, która była odpowiedzialna za badania z ramienia SMG/KRC: "Przede wszystkim wyniki Ad.Netu na wymiarach są całkiem dobre, choć gorsze od Onetu. W szczególności biuro Ad.Netu uzyskało najwyższą ocenę na wymiarze "szybko i sprawnie reaguje na potrzeby klienta"- biorąc pod uwagę oceny poszczególnych biur, jest to czynnik istotnie wpływajacy na ocenę ogólną. Nie widzę tutaj sprzeczności - Onet to drugie biuro co do oceny ogólnej- nie ma zatem istotnej rozbieżności. Ogólna ocena biura jest wynikiem percepcji na poszczególnych wymiarach (racjonalnych), ale też może odzwierciedlać bardziej emocjonalny stosunek. Tak jest we wszystkich badaniach satysfakcji."
Satysfakcja klienta ma oczywiście emocjonalny charakter, lecz czy szybkość i sprawność obsługi w biurze jest jednak tym racjonalnym wymiarem, który decyduje o pozycji w rankingu? Otóż nie. Świadczy o tym wysoka pozycja sieci ClickAd, która na wymiarze "Szybkość i sprawność obsługi klienta" otrzymała oceny poniżej średniej, a jednak uplasowała się wysoko w rankingu ogólnym.
Wątpliwościami metodologicznymi ponownie podzielił się więc z Barbarą Krug z SMG/KRC Radosław Kucko z Onetu i oto, jaką odpowiedź uzyskał: "Niestety obawiam się, że nie możemy rozebrać oceny ogólnej na czynniki pierwsze. Tak jak pisałam, w przypadku jednego biura kluczowy może być jeden czynnik, w przypadku innego model wpływu może być innych, no i jest jeszcze czynnik pozaracjonalny - emocje, relacje, wizerunek itd." Jedno więc wiemy już na pewno: to nie suma punktów w siedmiu badanych wymiarach decydowała o pozycji w rankingu. Najważniejsze były czynniki subiektywne, czyli niemierzalne.
Redaktor Media&Marketing - Marzenna Reyher - zupełnie inaczej patrzy na kwestię metodologiczne badania. W rozmowie telefonicznej tłumaczy naszej redakcji: "My wyjaśniamy, jak przeprowadzane było badanie w opisie metodologicznym. Tu trudno określić kto wygrał. Na podstawie badania można tylko mówić o grupach wyników. Jeśli ktoś ma ocenę ogólną na poziomie 4, a ktoś na poziomie 3, to można wyciągać jakieś wnioski. Ktoś z oceną na 3 wyraźnie odstaje. Ale w przypadku ocen na poziomie 4 i 4,5 nie należy wyciągać wniosków, kto tu jest lepszy. Moim zdaniem AD.net nie powinien na swojej stronie prezentować wyników w formie takiego wykresu, ale to prowadząca badania, pani Barbara Krug może stwierdzić, czy to jest nadużycie, nie ja."
Wątpliwość druga: dobór badanych biur reklamy
Czytając ten ranking ma się wrażenie, że firmy umieszczone w nim nie do końca zostały przemyślane przez redakcję Media&Marketing Polska. Na rynku reklamy internetowej funkcjonuje raptem kilka dużych firm zajmujących się sprzedażą powierzchni reklamowej. To niesłychane, że część z nich po prostu pominięto
W wiadomości opublikowanej w naszym serwisie Internet Standard podzieliliśmy się wątpliwością, dlaczego w badaniu nie wzięto pod uwagę największej - według badań IAB z pierwszej połowy br - sieci reklamowej IDMnet. Adam Dyba, szef pominietej sieci, określił dobór podmiotów jako "niepełny i niejasny". Jak się okazuje ta sieć, to niejedyny pominięty. Biuro portalu Gazeta.pl, którego udziałów w rynku reklamy internetowej nie należy lekceważyć (około 12%) również nie zostało wzięte pod uwagę.
Marzenna Reyher, redaktor naczelna Media&Marketing, tłumaczy to Radosławowi Kucko: "listę podmiotów zawsze przygotowuje redakcja. Będą one wymienne na przestrzeni kolejnych lat, podobnie jak to ma miejsce w innym naszym badaniu dotyczącym agencji reklamowych i domów mediowych. W przypadku Agory, sprawa jest prosta - została oceniona w dwóch innych kategoriach - dzienników i magazynów, musimy więc dać szanse innym podmiotom. Ale w przyszłości gazeta.pl na pewno znajdzie się na naszej liście."
Zastanawiające jest dlaczego - czyżby Agora miała utracić swoje dzienniki i magazyny? A może szansę mniejszym podmiotom daje się tylko raz? Niezależnie od faktycznej przyczyny, powody pominięcia Gazety.pl czy IDMnetu wydają się być całkowicie arbitralne.
Zapytaliśmy o to samo Barbarę Krug, która była odpowiedzialna za badania z ramienia SMG/KRC. Nie potrafiła wytłumaczyć, dlaczego w badaniu nie wzięto pod uwagę IDMnet. "Listę analizowanych sieci zasugerowała redakcja Media&Merketing. Nie wiem, dlaczego podjęto taką decyzje. Pamiętam, że początkowo IDMnet był na liście i że była dyskusja nad tym, czy należy się zająć tą siecią."
Redaktor naczelna Media&Marketing wyjawiła naszej redakcji, jaki dobór biur reklamy jest planowany w przyszłym roku. "Do badania weźmiemy mniej podmiotów. Nie będzie chyba Onetu.pl i Inetrii, weźmiemy zaś pod uwagę Wirtualną Polskę, dołożymy Gazetę.pl."
Wątpliwość trzecia: kim jest 14 respondentów
W odpowiedzi na poważne pomówienie, jakie padło ze strony kol. Mariusza Biedrzyckiego Dyrektora ds. Komunikacji Marketingowej portalu Onet.pl pragnę zapewnić, iż żaden z pracowników CR Media nie brał udziału w przeprowadzonym przez Media i Marketing Polska badaniu satysfakcji klientów z oferty i obsługi biur reklamy internetowej. W związku z tym insynuowanie powiązania wysokiej pozycji Ad.netu w rankingu z głosowaniem pracowników CR Media jest bezpodstawne i ze wszech miar krzywdzące dla naszej firmy. Osobiście mam do wszystkich prośbę na przyszłość, aby wszelkie tego typu komentarze były uprzednio weryfikowane i poparte wiarygodnym źródłem.
Korzystając jednocześnie z okazji pragnę przypomnieć, iż wkład pracowników Ad.netu w rozwój reklamy on-line przy jednoczesnym wysokim standardzie obsługi klientów jak najbardziej predestynuje ich do zajmowania pozycji lidera.
Jak to ujął w rozmowie z naszą redakcją Mariusz Biedrzycki, dyrektor ds. Komunikacji Marketingowej portalu Onet.pl, "Gdyby się okazało, że kilku respondentów z czternastu to przedstawiciele CR Media, czyli brokera reklamy internetowej, a przy tym udziałowca zwycięskiej sieci Ad.netu, to tajemnica wysokiej pozycji Ad.netu byłaby wyjaśniona".
Radosław Kucko poprosił o udostępnienie listy firm, z jakich pochodzili respondenci. Barbara Krug odpowiedziała, że nie może ujawnić danych, które mogłyby posłużyć identyfikacji respondenta, bo jest to niezgodne z Kodeksem Esomaru i Ustawą o Ochronie Danych Osobowych. Marzenna Reyher zaś przedstawicielowi Onetu odpowiedziała tak: "nie sądzę, aby było wskazane ujawnianie firm, które wypowiadały się na temat konkretnych podmiotów; to zbyt mały rynek i zbyt łatwo naruszyć anonimowość".
Trudno się oprzeć wrażeniu, że zarówno dobór metodologii badania i ocenianych biur reklamy internetowej podporządkowany był jednemu celowi - zwycięskim biurem miał zostać Ad.net.
"Wylosowani przez komputer respondenci, którzy mieli kontakt z biurami reklamy internetowej w pierwszym etapie przyznawali biurom ocenę ogólną. Na pytanie: Jak oceniasz biuro reklamy mogli wybrać odpowiedzi: bardzo dobrze, dobrze, przeciętnie, źle, bardzo źle. Mogli też odmówić odpowiedzi. Ad.net miał na tym etapie najwięcej entuzjastycznie nastawionych do siebie respondentów, którzy ocenili go na bardzo dobrze. Ocena, jaką Ad.net prezentuje na wykresie słupkowym bierze się stąd, że tej skali przyporządkowano oceny wyrażone w liczbach - od 1 do 5 i wyciągnięto średnią arytmetyczną, która dla Ad.netu wyniosła 4,36.
W drugiej części badania respondenci mieli określić, któremu z biur reklamy, z którymi mieli kontakt, można przypisać daną cechę. Pytaliśmy o 7 wymiarów. Oceny wyrażone zostały w procentach - tzn. pewien odsetek respondentów przypisał danemu podmiotowi daną cechę - np. szybkość obsługi czy przejrzystość polityki cenowej. W tym badaniu można było nie przypisać żadnej cechy danemu podmiotowi, jeśli w opinii respondenta biuro żadnej z nich nie posiadało.
Ad.net wypadł dość dobrze w badaniu, lecz popełnił nadużycie, określając siebie jako najlepsze biuro reklamy internetowej. W badaniu nie można patrzeć na jeden wynik, lecz należy spojrzeć na wyniki globalnie. Wykorzystał oceny z pierwszej części i zaprezentował je tak, jakby były efektem przyznania mu wysokich ocen na wymiarach szczegółowych. Co prawda te wyniki się łączą, ale ocena ogólna przyznana w pierwszym etapie badania wcale nie musi się potwierdzać z ocenami na 7 wymiarach szczegółowych. Rzeczywiście najwięcej respondentów w drugiej części przypisało najwięcej pożądanych cech biurze Onetu.
Wzięliśmy do badania ekspertów, lecz nie wnikaliśmy w związki, jakie mogą ich łączyć z ocenianymi biurami. Zakładamy, że jako eksperci udzielali nam rzetelnych odpowiedzi."
Tekst został uzupełniony o wypowiedzi w ramkach pani Benity Jakubowskiej, Dyrektor Sprzedaży / Projekt Internet Agory, oraz wypowiedź pani Katarzyny Halickiej z Zespółu Komunikacji Wirtualnej Polski.
Kolejnym uzupełnieniem tekstu jest wypowiedź w ramce pani Barbary Krug, przeprowadzającej badanie, która tłumaczy jego metodologię.
Obok wypowiedzi Mariusza Biedrzyckiego, dyrektora ds. Komunikacji Marketingowej portalu Onet.pl, można też znaleźć w ramce odpowiedź Jacka Kołtonika, dyrektora Departamentu Internet, CR Media Consulting S.A.
