Web-analyytikko kertoo, miten tutkimus- ja analytiikkaprojekteja EI kannata hoitaa.

Kartta_sudenkuopat2Minä pidän numeroista. Olen pyörinyt web-analytiikan ja markkinatutkimuksen parissa lähes kuluvan vuosituhannen alusta alkaen. Olen oppinut uskomaan datan voimaan johtamisessa, sillä olen omin silmin nähnyt, miten riskittömiä ja hyvin perusteltuja päätöksiä tiedon avulla voidaan tehdä.

Matkan varrella olen kuitenkin ollut mukana myös sellaisissa tutkimus- ja analyysiprojekteissa, joissa hyvistä aikeista huolimatta tulokset ovat olleet vaatimattomia tai jopa harhaanjohtavia. Olen myös huomannut, että jos datalla johtaminen menee syvälle metsään, se ei tapahdu sillä kohtaa, kun eri datalähteiden tietoja yhdistetään toisiinsa tai markkinointia kohdennetaan aiemman käyttäytymisen perusteella. Suurimmat virheet tehdään nimittäin jo paljon aiemmin, perusasioissa. Tiedän, koska olen itsekin tehnyt monia niistä.

Jotta kaikkien ei tarvitsisi hölmöillä, jaan nyt analyytikoille ja päättäjille kartan, johon tyypilliset sudenkuopat on merkitty näkyvästi. Kaikki alkaa aina suunnittelusta, niin nytkin.

1. Huono suunnittelu

Kun verkkopalvelun kävijämittausta suunnitellaan, ensimmäinen vaihe on työkalujen valitseminen ja tägien implementointi. Väärin! Jos työkalut valitaan summamutikassa ja mittaus pistetään päälle sen kummempia suunnittelematta, päädytään tilanteeseen, jossa dataa on naurettavan paljon, mutta siitä ei ole kenellekään hyötyä. Mitään mittausta ei tule käynnistää ennen kuin on määritelty, mitä tietoa mittauksesta halutaan ja mihin – tai miten – dataa on tarkoitus hyödyntää. Vasta tämän jälkeen tiedämme, millainen työkaluarsenaali tiedon saamiseksi tarvitaan ja millaiset tägit sivustolle pusketaan. Web-analytiikassa tätä tärkeää vaihetta kutsutaan KPI-workshopiksi. On myös hyvä muistaa, ettei yksi työkalu koskaan ratkaise kaikkea. Esimerkiksi web-analytiikka kertoo sen, mitä sivustolla tapahtui, muttei parhaimmillaankaan sitä, miksi näin kävi. Jälkimmäisen selvittäminen ei onnistu ilman toimivaa survey-työkalua.

2. Dataan luotetaan liikaa

Mikään data ei ole täydellistä, ja joskus menee mönkään ihan kunnolla. Tutkimuksen kysymysmuotoilu voi olla johdatteleva, tahaton tuplatägitys voi sotkea paketin tai huolella suunniteltu globaali analytiikka saattaa törmätä Kiinassa yllättäen Suureen Palomuuriin. Tiedon kasaajalla voi myös olla oma salainen agendansa, mistä esimerkiksi suuria ketjuravintoloita edustavaa MaRaa syytettiin viime viikon pizzagaten yhteydessä. Yhtä kaikki, huono data ei ole maailmanloppu, vaan inhimillistä. Homma menee vaaralliseksi vasta sillä kohtaa, kun virheelliseen dataan luotetaan taivaan totuutena ja sen perusteella tehdään suuria päätöksiä. Datan tulkintaan pätee sama ohje kuin mihin tahansa lähdekritiikkiin: jos tulos on uskomaton, sen taustat kannattaa tutkia erityisen tarkasti. Yleensä näet uskomaton on juuri sitä mitä termi lupaakin. Jotakin sellaista, mihin ei kannata uskoa sokeasti.

3. Kyseenalaiset motiivit

Silloin tällöin olen törmännyt tilanteisiin, joissa asiakkaalla ei ole aikomustakaan kehittää bisnestä datan perusteella, vaan tutkimukseen tai analytiikaan panostetaan vääristä syistä. Yleisimpiä huonoja syitä ovat sisäinen markkinointi (halutaan aidon oloiset todisteet siitä, että meidän yksikkömme tekee hyvää työtä – kehitysideoista viis) ja ulkoinen markkinointi (“ei tuo skaalan viimeinen vastausvaihtoehto voi olla ‘erittäin tyytymätön’, sillä emmehän me halua ehdottaa asiakkaille että joku voisi olla tykkäämättä meistä, voitaisko se muuttaa muotoon ‘tietysti rakastan, mutta pientä parannettavaa löytyy?’”). Näiden lisäksi mainittakoon vielä alhaisin kaikista, sisäinen metamarkkinointi, jossa kukaan ei ole pätkääkään kiinnostunut tuloksista sinänsä, vaan ainoa syy analyysin tekemiseen on toive siitä, että ylin johto huomaisi, miten upeita datatsydeemejä meidän edelläkävijätiimissä työstetään.

4. Analyysiä ei tehdä lainkaan

Web-analytiikan nyrkkisäännön mukaan 20 % käytettävissä olevasta ajasta pitäisi käyttää raportointiin – siis lukujen kokoamiseen ja toimittamiseen vastaanottajille – ja loput 80 % tulosten analysointiin eli johtopäätösten ja toimintasuunnitelman tekemiseen. Masentavan usein analyysiosuus jää kuitenkin kokonaan tekemättä ja web-analytiikka typistyy sähköpostitse lähetettäviksi automaattiraporteiksi, joita kenelläkään ei ole aikaa edes avata. Eikä lopulta ole edes mikään ihme, että juuri analyysiosuudesta tulee tingittyä. Se on nimittäin koko prosessin hankalin osa. Analyysi on salapoliisityötä, jonka alkuvaiheessa ei välttämättä ole mitään varmuutta siitä, että datasta löytyy ongelmaan yksiselitteinen vastaus. Analyysi vaatii tekijältään aikaa, ymmärrystä bisneksen realiteeteista sekä paksun nahan niissä tilanteissa, kun löydetty totuus ei ollutkaan kaikkien mieleen. Silti se kannattaa tehdä, ihan joka kerta.

5. Analyysiä ei yhdistetä bisnekseen

Analyytikon painajainen on toimeksianto, jossa “etsitään datasta jotain kiinnostavaa”. Neulan löytäminen heinäsuovasta on lasten leikkiä siihen verrattuna, että heinäsuopaa tongitaan satunnaisesti minkä tahansa merkityksellisen löydöksen toivossa. Varma ensioire tästä taudista on kohdassa 1 mainittu suunnittelun puute, mutta silloinkin, kun data on kunnossa ja seurataan oikeita asioita, syvempi analyysi tarvitsee perustakseen aina tutkimusongelman ja tavoitteet. Mikä on bisneksen polttavin ongelmakohta juuri tällä hetkellä? Mihin kysymykseen analyysillä halutaan vastaus? Ask and ye shall receive.

6. Analyysi perustuu liian vähäiseen määrään dataa

Kaikki tietävät, mitä otantatutkimuksessa tarkoitetaan liian pienellä vastaajamäärällä. Viisi vastaajaa ei riitä edustamaan yhtään mitään muuta ryhmää kuin näitä viittä vastaajaa itseään. Vaikka web-analytiikassa ei perinteisestä otannasta olekaan kyse – kaikki käynnithän rekisteröidään – liian vähäisen vastaajamäärän ongelma on sielläkin aito. Tämä johtuu pääosin siitä, että dataa pilkotaan aina analyysivaiheessa osiin (esimerkiksi konversioaste maittain), ja lopulta kuin varkain saatetaan päätyä tekemään johtopäätöksiä vain muutamaan kävijään perustuen (ugandalaiset kävijät olivat aktiivisimpia, sillä heistä 100 % tilasi uutiskirjeen – mutta huomiotta jää, että heitä oli tarkasteluviikolla sivustolla vain kaksi). Jotta ongelma olisi mahdollisimman hankala hallita, Google Analyticsin ilmaisversio lisäksi sämplää tuloksia usein segmenttejä käytettäessä. Silloin analyytikon on oltava erityisen varuillaan tulkinnoissaan. Nyrkkisääntönä kannattaa muistaa, ettei oikein tehty otanta tee datasta automaattisesti käyttökelvotonta, mutta se tekee, jos johtopäätökset perustuvat vain muutaman henkilön touhuihin.

7. Korrelaation sotkeminen syihin ja seurauksiin

post_hoc_ergo_propter

Arkipäivän virhepäätelmiä syistä ja seurauksista. Lähde: www.slate.com

Olet päässyt analyysivaiheeseen, data on timanttista ja tutkimusongelma on hyvin määritelty. Hyvä! Nyt ollaan voiton puolella. Älä nyt mokaa. Älä ainakaan tee liian pitkälle vietyjä johtopäätöksiä syistä ja seurauksista. Klassikkoesimerkki tästä on jäätelökorrelaatio: hukkumiskuolemien määrän ja jäätelön myynnin aikasarjat korreloivat vahvasti keskenään. Johtaako jäätelön syönti siis hukkumiseen? Tällä kohtaa on helppo huomata, että yhtälöön tarvittaisiin kolmas muuttuja. Ulkoilman lämpötila selittää molempia. Web-analytiikassa ilmiöt eivät kuitenkaan ole aina yhtä helposti tulkittavia. Jos tuotesivulla käyneet ostavat erittäin usein verkkokaupasta, voidaanko sanoa, että tuotetiedoissa käyminen lisää ostohalukkuutta? Vai onko todennäköisempää, että juuri ne kävijät, jotka ovat jo valmiiksi vakavasti ostopuuhissa, käyvät tuotesivulla osana ostoprosessia? Haluavatko kävijät ostaa siis siksi, että käyvät tuotesivulla, vai käyvätkö he tuotesivulla siksi, että haluavat ostaa? Riippuu tilanteesta, mutta hyvin usein pelkän web-analytiikkadatan perusteella oikean vastauksen pitäisi olla muotoa “emme tiedä”.

8. Johtopäätökset ulotetaan koskemaan liian laajaa joukkoa

Tutkimus ei voi koskaan edustaa laajempaa kohderyhmää kuin mikä tutkimuksen kohderyhmä oli tiedonkeruuta suunniteltaessa. Tämä on yleensä tutkijoille ja analyytikoille selvää, mutta kirjoitanpa tämän nyt auki siltä varalta, että lukijoiden joukossa on esimerkiksi toimittajia. Iltapulun etusivulla olevan tutkimuksen tuloksista ei voi uutisoida kertomalla, mitä mieltä “Suomen kansa” on. Se kertoo ainoastaan Iltapulun etusivun lukijoiden näkemyksistä (ja niistäkin huonosti hähmäisestä tutkimusmetodista johtuen). Joskus johtopäätökset ovat tämän virheen seurauksena jopa päättömiä, niin kuin kävi joitakin vuosia sitten, jolloin suuri kansainvälinen lasten ja nuorten verkkopalvelu oli tehnyt käyttäjiensä keskuudessa massiivisen kyselyn. Mediassa revitelty johtopäätös oli, että brasilialaisilla nuorilla on keskimäärin enemmän taskurahaa käytettävissään kuin suomalaisilla. Arvaat varmaan, mikä meni pieleen.

9. Tuloksia ei hyödynnetä lainkaan

Viimeinen sudenkuoppa ei ole pelkkä rasittava monttu, vaan valtava musta aukko, joka imee energian ja muuttaa kaiken ponnistelun lopulta turhaksi. Vaikka data olisi hyvää, tulokset selkeät ja analyysi säkenöivä, joskus mitään ei tapahdu. Tämä ei tietenkään ole yksin analyytikon ongelma, vaan kyse on laajemmasta johtajuushaasteesta: organisaatio ei automaattisesti pysty muuttamaan toimintatapojaan datan perusteella, jos sille ei anneta muutokseen eväitä. Muutaman kuukauden jälkeen todetaan, ettei datan käyttöönotosta ollutkaan mitään hyötyä, resursseja vähennettään ja palataan takaisin turvalliseen “näin me olemme päätöksemme tehneet jo kymmeniä vuosia, tämä saa toimia jatkossakin” -moodiin. Toisinaan se saattaa toimia, aivan niin kuin pitkävedossakin joku aina voittaa, mutta yleensä muuttuvan maailman ja asiakkaiden toiveiden ignooraamiseen ei yrityksillä enää tänä päivänä ole varaa.

 

Jos pääsit kaikista yhdeksästä kohdasta läpi putoamatta ansaan, voit ylpeänä onnitella itseäsi ja ympärilläsi olevia. Voit myös olla melko varma siitä, että pääset aloittamaan uudelleen alusta. Onnistuneesta tiedon käytöstä päätöksenteossa nimittäin yleensä seuraa se, että tietoa halutaan lisää. Ja niin sen pitääkin mennä.