Ognuno di noi vorrebbe vedere una determinata funzione aggiunta al suo software (o sito web, o servizio online) preferito, ma di solito la funzione che vuole un utente non interessa a un altro, e viceversa.
Nello sviluppo di un prodotto o servizio è quindi sempre piuttosto difficile capire quale funzione convenga aggiungere e quale no. Certo ci sono le intuizioni e i punti di vista dell’azienda che lo propone, ma l’opinione degli utenti potrebbe essere – e di solito lo è – diversa, anche di molto. Quando si tratta di prodotti e servizi digitali, la tecnica del A/B testing aiuta a prendere decisioni basate su dati di fatto.
Un sistema di A/B testing permette di presentare alternativamente agli utenti due versioni diverse di un prodotto per valutarne l’efficacia, tecnica che ovviamente è molto più praticabile per servizi e siti online che non in un oggetto fisico.
Quando un utente arriva al sito o servizio, viene “servita” una delle due versioni a seconda di determinati parametri oppure in manier casuale. Questo metodo si usa per valutare alternative sia in modifiche o funzioni evidenti (un restyling grafico, un cambiamento nella posizione dei comandi…) sia per quelle non evidenti ma funzionali (nuovi algoritmi in background, diversi flussi dei processi…).
Quando il campione valutato è abbastanza numeroso, il test è effettivamente significativo. A patto però che sia stato portato avanti corettamente, un elemento non scontato e su cui ci soffermiamo.
Le regole da seguire
Per definire un piano di A/B testing bisogna ovviamente decidere che cosa si intende testare. Sembra una frase banale ma l’inghippo sta in quel “che cosa”. Nella fase di test non si tratta infatti solo di identificare la nuova funzione o la modifica che si andrà a implementare nelle versioni A e B, vanno anche definiti il campione di riferimento e i parametri in base ai quali si valuterà, alla fine, quale delle due alternative sia risultata più efficace.
La scelta del campione può anche essere obbligata, nel senso che non sempre è possibile alternare le due versioni del prodotto/servizio in base al singolo utente, oppure stiamo testando una modifica che già di per sé interessa solo un sottoinsieme ben specifico dell’utenza. In altri casi invece, come ad esempio in un sito di ecommerce, abbiamo a disposizione molti parametri in base ai quali decidere in tempo reale cosa servire.
La scelta dei parametri da monitorare nel comportamento degli utenti durante la fase di A/B testing è importante e non banale. Spesso il risultato che vogliamo ottenere non è esprimibile in metriche rilevabili direttamente collegate alle modifiche delle nuove versioni A e B, quindi ci vogliono strumenti di analisi adatti che sappiano trovare una correlazione tra il comportamento degli utenti e le modifiche stesse. Oppure che provino che questa correlazione non c’è e quindi che le modifiche sono state irrilevanti all’atto pratico.
Prendere decisioni dopo una fase di A/B testing non è comunque solo una questione di confrontare numeri. Questi sono importanti ma proprio perché le correlazioni tra le modifiche e il comportamento atteso degli utenti non sono quasi mai dirette, serve anche una valutazione qualitativa che indichi cosa è meglio fare.
Procedere con giudizio
Un procedimento di A/B testing porta sicuramente informazioni importanti su cui valutare lo sviluppo di nuovi prodotti e servizi. Il punto chiave di tutto è quanto queste informazioni siano significative, il che nella pratica si traduce nel fatto che la differenza tra le versioni A e B presentate agli utenti deve essere chiara e riconducibile a poche modifiche, idealmente anche una sola. In caso contrario – troppe modifiche nelle nuove versioni – diventa difficile capire quali novità hanno modificato, e in che senso, il comportamento degli utenti.
Troppe modifiche in un colpo solo possono poi alienare gli utenti abitudinari, per cui in determinati casi è meglio permettere agli utenti di “tirarsi fuori” dalla fase di A/B testing, connotando magari come versione “beta” o “sperimentale” del nostro sito quella più innovativa e lasciando liberi gli utenti di non usarla.
