Quru Blog. Valhe, emävalhe, Digitohtorin diagnoosi Kumpi valehtelee, analytiikkatyökalu vai sen käyttäjä?

Kumpi valehtelee, mittari vai sen käyttäjä?

Paljastanpa teille aluksi muutaman yllättävän totuuden kuumemittareista. Ovat kuulkaa petollisia ja surkeita vempeleitä. Kerran yksi tuttuni oli sellaista käyttänyt kuuman vesihanan alla ja ylpeili kovalla tuloksella. Onneksi satuin paikalle kertomaan, ettei kuumemittariin voi luottaa, sillä härvelistähän voi kuka tahansa saada ulos ihan minkä valheen itse haluaa. Kun kuumemittarin tulosta vertaa luotettavampiin mittausmenetelmiin, epätarkkuudet paljastuvat.

Suunnilleen tämän tasoisilla argumenteilla Teemu Eskola ruoti web-analytiikkaa ja erityisesti Google Analyticsiä viime viikon Markkinointi ja Mainonta -lehdessä. On perin vapauttavaa huomata, että digitohtoriltakin pääsee välillä epäanalyyttisiä aivopieruja. Nostan niistä muutaman nyt tarkempaan tarkasteluun.

1. “Monesti kun ajetaan verkkoanalytiikkaa vastaan jokin luotettavampi tutkimusmenetelmä, sieltä paljastuu rumia eroavaisuuksia.”

Väärin. Analytiikkadata ei totta vie ole täydellistä, mutta se on kuitenkin parasta, mitä on saatavilla. Selainpohjainen web-analytiikka kertoo paremmin kuin mikään muu menetelmä sen, paljonko sivustolla on liikennettä, mistä kävijät tulivat ja mitä he tekivät sivustolla. Jos digitohtori tietää jonkin paremman menetelmän, kuulen siitä mielelläni.

On myös asioita, joiden mittaamiseen verkon analytiikka on väärä työkalu. Analytiikka kertoo sen, mitä on tapahtunut, mutta ei esimerkiksi sitä, miksi näin kävi. Paras tapa selvittää verkkosivuston kävijöiden motiiveja ja mielipiteitä on edelleen kyselytutkimus – joka tosin kannattaa yhdistää web-analytiikkaan kattavamman taustatietopankin saamiseksi. Miltä sivustolta tyytyväiset asiakkaat tulivat meidän palveluumme? Mitä laitetta he käyttivät? Minkä kampanjoiden kautta he ovat tulleet aiemmilla käynneillä?

Myöskään eri kävijöiden – eli oikeasti silmäparien – määrää ei mikään selainpohjainen analytiikka tarjoa aukottomasti etenkään pidemmältä aikaväliltä, sillä perusmuodossaan mittaus perustuu selainkohtaisiin evästeisiin. Tämä tarkoittaa, että aamulla työkoneella, iltapäivällä matkapuhelimella ja illalla tabletilla Ylen uutispalvelussa vieraileva Tero näkyy tuloksissa kolmena eri kävijänä. Silmäparien määrää arvioivia mittaustyökaluja on kuitenkin olemassa. Tunnetuin näistä lienee medioiden käyttämä TNS Metrix, jossa tekniikka on sama kuin muissakin selainpohjaisissa järjestelmissä, mutta tulokseen yhdistetään myös paneelitutkimustietoa eri käyttäjien määrän estimoimiseksi. Verkkoliikenteen analyysin kannalta kuitenkin se, ettei eri selainten määrä tarkoitakaan aidosti silmäpareja, on useimmiten melko triviaalia.

Niin, ja ne ennusteet. Sellaisiahan eivät web-analytiikkatyökalut tarjoa lainkaan, enkä ole itse analyytikkona suostunut niitä koskaan tekemäänkään pelkästään analyiikkadataan nojaten. Kunnon ennusteisiin kun tarvitaan paljon enemmän tietoa kuin se, mitä sivustolla on aiemmin tapahtunut. Eipä kukaan kuume-ennusteitakaan tee mittaushistorian perusteella. Tai jos tekee, vika ei ole työkalussa.

2. “Tapaamisen jälkeen asiakkaalla ei ollut 800 000 kävijää, vaan 800 000 kysymystä.”

Oikein! Onneksi olkoon, Teemu. Vaikuttaa siltä, että olet ymmärtänyt, mistä analytiikassa on pohjimmiltaan kyse. Parhaimmillaan data on silloin, kun se pakottaa käyttäjän analysoimaan tuloksia tarkemmin. Seuraavaksi sitten vain pähkimään, mitkä noista 800 000 kysymyksestä ovat oikeasti vastaamisen arvoisia.

3. “Tilannetta pahentaa entisestään se, että ennen kuin data on helposti luettavina piirakkakaavioina tai prosenttilukuina, siihen on tullut useita virhetekijöitä, joiden vaikutus kertautuu joskus tuhoisin seurauksin.”

Yleensä väärin. Web-analytiikka on mittausteknisesti yksinkertaista, ja perusraportoinnissa on noviisinkin hankala tyriä. Ei siinä tarvitse tuherrella virhetekijöitä tuhoisin seurauksin.

Google Analyticsissä käyttäjä saattaa kuitenkin erillisiä segmenttejä käyttäessään törmätä otantaan, jolloin datan luotettavuuden arvioinnissa pätevät aivan samat lainalaisuudet kuin missä tahansa otantatutkimuksessa. Perusotokseen mahtuu ilmaisversiossa 500 000 käyntiä, maksullisessa Premium-versiossa tämä määrä on tällä hetkellä 100-kertainen (ja kasvaa). Otanta kuitenkin käynnistyy vasta sitten, kun käyttäjä vetää ristiin muuttujia, jotka eivät ole tarjolla suoraan standardiraporteissa, vaan vaativat taustajärjestelmältä laskentaa. Palvelun suosituimmat sivut saat siis selville aina ilman otantaa, mutta vantaalaisten Android-käyttäjien suosituimmat sivut tulee ulos sämplättynä. Datan luotettavuuden arvioinnin kannalta olennaista on se, kuinka monta vantaalaista Android-vierailua puolen miljoonan session otokseen mahtuu.

4. “Ainoastaan kauppa kiinnostaa, data ohjaa luovaa suunnittelua, tarinat vain liimataan päälle. Kuulostaa aika pelottavasti konversio-optimoinnilta.”

Hyvä mainostoimistoväki, älkää peljätkö. Me web-analytiikan kanssa päivittäin työskentelvät ja älykkään mainonnan kohderyhmiä datastamme metsästävät propellipäät emme vie teiltä pois teidän luovia ratkaisujanne. Me odotamme, että luovat ratkaisut tuodaan eteemme räiskyvinä ja röyhkeinä, ihan niin kuin aina ennenkin.

Optimointi ei tarkoita sitä, että data ohjaa luovia ratkaisuja. Se tarkoittaa esimerkiksi sitä, että vaihtoehtoisista luovista ratkaisuista valitaan juuri se tehokkain kullekin kohderyhmälle. Optimoinnilla ja analytiikalla voidaan varmistaa, että otollisin kohderyhmä ylipäätään löytyy. Optimoinnin, käytettävyysanalyysin ja analytiikan avulla luovaa ratkaisua viilataan sellaiseksi, että loppukäyttäjän on helppo ymmärtää, mistä kohtaa sitä kuuluu klikata. Optimointi on ystävä.

On tosin totta, että perinteisesti konversio-optimoinnissa fokus on ollut brändiarvon sijasta konversioissa – eli siinä, että mainonta oikeasti johtaa myös ostoksiin joko välittömästi tai myöhemmillä käynneillä ensimmäisen klikkauksen jälkeen. Tämäkin haaste on kovaa vauhtia haihtumassa ilmaan, kun tiedonkeruu- ja analyysimenetelmät kehittyvät. Jo nyt pystymme tutkimaan varsin luotettavasti myös sitä, minkä mainosten näkeminen johtaa parantuneeseen brändipreferenssiin ja/tai verkko-ostoksiin pidemmällä aikavälillä.

Mainostajat, älkää siis antako mainostoimistonne paeta “tämä on brändimainontaa eikä sen tehokkuutta voi siksi mitata” -mantran taakse. Vaikka brändimainonta on luonteeltaan erilaista kuin suoraan toimintaan tähtäävä kampanjointi, täytyy jokaisella brändikampanjalla ja kampanjasivustolla olla silti jokin tavoite. Mitä kampanjalla halutaan saavuttaa? Kun tämä on selvillä, voidaan pohtia, miten se saadaan luotettavasti mitattua.

5. “Mutta ihan rehellisesti – kuka ajattelee tosissaan, että ilmainen, superhelppokäyttöinen työkalu [Google Analytics] antaa tuosta vain totuudenmukaisia ratkaisuja monimutkaisiin pulmiin?”

Noin kahdeksan vuoden aktiivisen Google Analytics -käytön ja vielä pidemmän vaihtoehtoisten menetelmien tutkimisen jälkeen olen kallistunut sille kannalle, että näin se menee. Ja aika moni muukin web-analytiikaan syvällisesti perehtynyt ajattelee samoin.

Mikään analytiikkatyökalu ei kuitenkaan anna vastauksia ennen kuin kysymykset on esitetty. Käyttäjän on ensin määriteltävä, mitä työkalusta halutaan irti. Mikä on meille tärkeää, mitä asioita kannattaa oikeasti seurata? Miten tulokset raportoidaan, ja mitä niiden perusteella tehdään? Tätä vaihetta kutsutaan mittaussuunnitelmaksi. Jos sisään menee paskaa, ulos ei tule mustilla tryffeleillä kuorrutettua ruotsalaista hirvenjuustoa.

Eikä edes sen tryffelijuuston resepti ole rakettitiedettä. Tarvitaan ennen kaikkea hieman aikaa juuri oikeilta ihmisiltä. Mittaussuunnitelman ensimmäisessä vaiheessa lähdetään liikkeelle bisnestavoitteista. Niistä jalostetaan liiketoiminnalle tärkeät mittarit eli KPI:t (Key Performance Indicators). Mittareille määritellään vastuuhenkilöt, ja tuloksia seurataan jatkuvasti. Tärkeintä on, että muutoksiin myös reagoidaan – data, jonka perusteella ei tehdä parempia päätöksiä, on turhaa dataa.

6. “Opi tuntemaan datasi kaikki piirteet – mistä se on tulossa, mikä siihen vaikuttaa, kuinka luotettavaa se on? Missä kohdassa tehdään arvioita (arvauksia) ja osa-analyysiä (yleistyksiä) tai lasketaan keskiarvoja (tuhotaan tietoa)? Ota selvää, mikä on datan virhemarginaali ja ymmärrä, millaisia riskejä otat datan perusteella.”

Kyllä! Kaiken voi tehdä itse, tuleehan se toki niin paremmin tehdyksi. Jos kuitenkin tuntuu siltä, että aikaa pitäisi riittää muuhunkin, kannattaa hankkia pätevä analytiikkakumppani.

[planning]