Většina výzkumů, které se dělají pomocí telefonického dotazování (CATI), má naprosto zavádějící až lživé výsledky.
Celkem
často mi zavolají z nějaké renomované výzkumné agentury, zda bych se
nezúčastnil výzkumu veřejného mínění. Vždy se jich zeptám, jak dlouho to
bude trvat. Standardně odpoví, že čtvrt hodiny. Naposledy dnes, v půl
dvanácté dopoledne.
Kdo má čas a chuť odpovídat v pracovní době (ale klidně i večer) čtvrt hodiny na nějaké otázky???!!!
Dokážete si představit, jak nepřesný je pak vzorek? Vždyť odpovídají
snad jenom důchodci, nezaměstnaní nebo lidé, co jsou v práci sami a nudí
se.
Když jsme před lety začala naše agentura RobertNemec.com dělat vlastní CATI výzkumy, udělali jsme nejprve pilotní výzkum,
kolik otázek lidé snesou. Výborné výsledky jsou do tří otázek, kolem páté se ochota odpovídat láme prudce dolů.
Nepříjemné je, že do těchto maximálně pěti otázek musíte dostat i
sociodemografické otázky. :-( Když jsme nabídli možnost něco vyhrát,
byli nám lidé ochotni zodpovědět šest až sedm otázek (podle typu výhry).
Jak výzkumné agentury mlží
Před několika lety jsem dělal na jedné předvolební kampani. Politická
strana si zadala výzkum u zavedené agentury pro výzkum veřejného
mínění, která tvrdila, že dodržuje etický kodex ESOMAR. Když jsem se
dostal k výsledkům výzkumu já, nevěřil jsem vlastním očím. Nevím už
přesně kolik měl výzkum otázek, ale bylo jich mezi 30 až 40.
Co si ale pamatuji velmi přesně, bylo to, že jsem pak na jedné poradě
demonstroval, že jenom přečíst otázky čtvrtiny dotazníku mi zabralo 11
minut. „Takže mi chcete tvrdit, že 1 023 lidí věnovalo tomuto dotazníků
minimálně 44 minut svého života?“ ptal jsem se šéfa agentury.
Následně jsem jej požádal o
surová data, že si je zkontroluji (stačí to prohnat nějakým statistickým programem). Žádal jsem týden, dva, tři, urgoval – ale nikdy mi surová data poskytnuta nebyla.
Jiný klient si zadal výzkum u ještě prestižnější agentury na výzkum
veřejného mínění (jsou členy sdružení SIMAR). Součástí výzkumu bylo,
kolik firem a jaké v daném oboru lidé znají (brand awareness). Průměr na
celorepublikovou populaci byl sedm. „Prosím vás, než jsem se vámi začal
zabívat, znal jsem tři ve vašem oboru – a to si myslím, že mám celkem
přehled,“ povídám na jednání s klientem. „A vy věříte tomu, že běžný
Franta Novák zná vás a šest dalších vašich konkurentů?“
Ono totiž
stačí, jak je otázka položena. Pokud je otázka např.:
„Zaškrtněte firmy, které znáte: XYZ, ZYX, XYZ,“
tak lidé zaškrtnou mnoho firem. Buďto se jim vybaví nebo nechtějí vypadat, že se nevyznají. Mnohem přesnější je otázka:
„Vyjmenujte firmy, které prodávají X.“
Jak mi řekl jeden výzkumník:
„Nedodáváme firmám výzkum veřejného mínění, ale to, co chtějí slyšet.“
Historky z Fakulty sociálních studií
Když jsem studoval na Fakultě sociálních studií, mnoho mých spolužáků
si přivydělávalo jako tazatelé veřejného mínění. „Dá se na tom dost
vydělat,“ povídala mi jedna spolužačka. „Když jedu vlakem z Prahy do
Plzně, rozdám cestujícím dotazníky a na konci cesty je vyberu. Za každý
dotazník dostanu (částku už jsme zapomněl – pozn. RN) a dost cestujících
mi to vyplní.“
Že vzorek „cestující vlakem na lince Praha – Plzeň v pátek večer“
neodpovídá běžnému průřezu české populace ji už nezajímalo. Někdy byl
ale vzorek ještě horší.
Jiná moje spolužačka se jednou postavila ke dveřím fakultní knihovny.
Každého pak zastavila s dotazem: „Prosím tě, dnes večer musíme
odevzdávat tento výzkum. Mohl bys mi jej vyplnit?“ Dalšího večera pak
běžel v televizi výzkum „Co si Češi myslí o…“. No, Češi – spíše studenti
Fakulty sociálních studií.
Proč tomu tak je
1. Jak už jsem naznačil:
Firmy často chtějí jenom potvrzení, ujištění. Jenom málokterá firma je natolik silná, aby ustála pravdu. (Jak mi řekl člen představenstva jedné banky:
„My nechceme znát fakta.
Protože pak bychom se podle nich museli třeba i řídit.“)
2. Firmy si
myslí, že musí znát odpověď na strašně moc otázek.
Jenže výzkum nenahradí ani vaši invenci, ani dlouhodobé zkoumání
zákazníka. To je jako chtít mít po jednom rande dotyčnou ženu
„přečtenou“.
3.
Firmy (klienti) tlačí na cenu a agentury (výzkumníci) se podbízí cenou. Klient často nemá vzdělání v sociologii a statistice, takže ani neví, že takovýto výzkum jsou vyhozené peníze.
4.
Firmy si chtějí ušetřit práci – a dotazníkové šetření je tak snadné! My často děláme následující výzkumy:
a) rozhovory se zákazníky přímo na prodejnách nebo u nich v kancelářích,
b) jeden nebo dva dotazy položené v průběhu telefonátu zákazníka na zákaznickou linku,
c) čtení přepisů rozhovorů na zákaznické lince (to samé s emaily na podporu).
(Jak to vypadá v reálu se můžete podívat např.
na případové studii avendro.cz.)
Všechno by v podstatě zvládl manažer dané firmy, kdyby chtěl. Já
manažerům říkám: „Prosím vás, postavte se na pár hodin do vaší prodejny a
bavte se se zákazníky. Ano, zabere vám to nějaký čas. Ale získáte lepší pochopení zákazníků než z výzkumu za 100 000 Kč.“
Nedávno mi jedna kamarádka říkala, že na strategickou poradu
nepozvali zástupce zákaznického oddělení. „Jak to?“ ptám se jí.
„Zákaznické oddělení má často více informací než zbytek firmy.“
5. Výzkumy se často dělají formou omnibusů.
Omnibusy jsou strašné zlo.
Omnibus spojí několik otázek od každé firmy do jednoho výzkumu.
Řekněme, že každá firma dodá pět otázek a firem je také pět (v lepším
případě). Najdou se pošetilci, kteří se stále domnívají, že existují
stvoření, která po pravdě zodpoví 25 otázek.
6. Firmy
nevěří kvalitativním výzkumům. Manažeři
totiž umí pracovat více s čísly než s pochopením. Jenže kvalitativní
výzkum vám dává mnohem větší vhled do reality než mnohá čísla.
7. Firmy
chtějí jistotu. Prosím vás, zapomeňte na
nějakou jistotu! I ten nejlepší kvantitativní výzkum se pohybuje na
nějaké hladině významnosti (tedy může být úplně špatně). Výzkum vám má
naznačit směr – a zbytek je na vaší invenci a odvaze.
Jak si udělat zákaznický výzkum lépe
K tomu, aby si naše agentura začala dělat vlastní výzkumy veřejného
mínění, mě tedy vedly dvě věci: Zaprvé otřesné zkušenosti na trhu (tedy
výzkumy, kterým se nedalo věřit). A za druhé mě to baví. :-)
1. Ujasněte si,
co jsou ty naprosto základní věci, které potřebujete znát. Jsem velkým zastáncem
Net Promoter Score,
kde vám stačí jediná otázka. A viděl jsem už mnoho rozsáhlých výzkumů,
která pak skončily v šuplíku. Je lepší znát odpoveď na tři až pět otázek
– a s těmi pak skutečně pracovat. Zapomeňte na to, že by vám zákazník
vymyslel iPhone nebo walkmana.
2. Potřebujete-li více informací,
zkuste raději kvalitativní výzkum nebo něco jiného než dotazník (např. analytiku).
3. Musíte mít
vědce, který ví, jak má klást otázky.
4. Vždy si udělejte
pilotní výzkum. Úplně vždy. I když jste kovaný vědec, který ví, jak má klást otázky, může se stát, že vzorek prostě něco nepochopí.
Níže uvádím příklad jednoho našeho vlastního dotazníku. Byl to
interní dotazník, takže jej nedělal nikdo z naší agentury, který má na
starosti výzkumy, ale manažerka jednoho projektu.
Tady vidíte, že respondent nepochopil bodování. Projev přednášejícího
a prezentaci ohodnotil jako otřesný („za pět“), ale jinak pro něj byla
přednáška informativní a přínosná. Zpětným dotázáním jsme zjistili, že
opravdu došlo k nepochopení.
Příště bude hodnocení textové a zpřesníme i otázky.
I následující otázka je nepochopitelná. Nevíte totiž, zda respondent
odpovídal na otázku „co se mu líbilo“, nebo „co mu v ní chybělo“. Líbilo
se mu, že jsme mu ukázali, jak fungujeme, nebo to naopak v přednášce
postrádal?
Obecně se za ten dotazník stydím. Ale uvádím jej jako příklad, že i
chytrý markeťák, který zároveň nemá vzdělání a zkušenosti v sociologii,
vytvoří nepřesný dotazník.
5.
Výzkumy pak vždy oveřujte – a moc jim neveřte.
Jak říkal už Lee Iacocca, legendární CEO Chrysleru: „Zákazníci vám
napovídají spoustu věcí, podle čeho se rozhodují při koupi auta. Ale ve
skutečnosti se rozhodují podle toho, zda se jim to auto líbí, nebo
nelíbí.“
Robert Němec
