Italiano
Datart, azienda del gruppo HP TRONIC, è uno dei principali operatori nella vendita al dettaglio di elettronica di consumo nella Repubblica Ceca e in Slovacchia, attivo da 32 anni con negozi fisici, a cui oggi si sono aggiunti anche gli store on-line. Ha ricevuto il premio Mastercard Merchant of the Year 2021 nella categoria ingegneria elettrica e il premio Most Trusted Brand 2020 e 2021. Nel 2021, il gruppo HP TRONIC, compresa DATART, ha aumentato il proprio fatturato del 15%, raggiungendo i 24,1 miliardi di CZK. L’utile EBITDA è stato di 1,29 miliardi di CZK.
In questo articolo scoprirai che:
- c’è sempre un buon motivo per fare un test
- lo svolgimento dei test deve essere perfetto
- un test A/B può essere un ottimo inizio
- è possibile ottenere risultati significativi in un tempo relativamente breve
- i test occasionali possono riservare sorprese
All’inizio è stata l’analisi, la curiosità o l’intuizione?
Diversi clienti di alto profilo hanno iniziato a collaborare con Luigi’s Box nello stesso modo di Datart. All’inizio hanno implementato Analytics di Luigi’s Box sul loro e-shop. Dato che l’analisi aveva già fornito molte informazioni, la domanda era se anche Search di Luigi’s Box potesse essere un partner altrettanto affidabile di Analytics.
Datart è consapevole dell‘importanza della ricerca per i suoi e-shop e di che cosa può influire sulle sue impostazioni. Non si sono importanti solo i costi, ma anche i ricavi generati, il tasso di conversione, il numero di acquisti completati o altre metriche. Un approccio responsabile deve senza dubbio comprendere sia la fase di test sia la verifica delle ipotesi. Datart è un’azienda che innova, e questo si può notare in diversi ambiti. Fa del suo meglio per migliorare la user experience e, comprensibilmente, è alla ricerca di soluzioni sempre migliori, che aiutino gli utenti e contemporaneamente facciano crescere i profitti.
Originariamente avevano deciso di sviluppare un motore di ricerca proprietario che, a un certo punto è stato necessario confrontare con un tool di ricerca esterno per verificare che non fosse altrettanto valido, se non migliore, di quella interno.
Fare i test non è semplice come sembra
Qualunque cosa si voglia testare, è fondamentale che tutto sia stato pianificato in anticipo: la metodologia, i valori di confronto, la fattibilità del test o il metodo di valutazione. Ma anche l’implementazione tecnica, la difficoltà e i requisiti per gli sviluppatori o qualsiasi altra specializzazione o specifica tecnica. Il test può essere eseguito sull’integrazione sia frontend che backend. Nel caso di Datart, si trattava dell’integrazione backend, più impegnativa e più complessa. La maggior parte dei clienti è professionalmente e personalmente preparata ad affrontare test di questo tipo, per cui la gestione di questo tipo di attività di solito non presenta complicazioni.
Datart ha un team di specialisti che non ha sottovalutato nessun aspetto e passo dopo passo ha fornito informazioni e specifiche e ha regolato i parametri necessari per comunicare correttamente con il nostro sistema attraverso l’API.
Prima ancora di eseguire un test A/B, è necessario eseguire una serie di test per eliminare i possibili errori che potrebbero influenzare in modo significativo l’esito del test.
Perché un test A/B?
Ci sono molti modi per provare o testare qualcosa. La prima opzione è quella di sostituire una soluzione con un’altra e verificare se la nuova soluzione è più efficace. Tuttavia, in questo caso si corre un rischio fondamentale. Nel caso di clienti delle dimensioni di Datart, anche un leggero scostamento di punti percentuali può manifestarsi come un calo significativo dei profitti, il che è inaccettabile per qualsiasi azienda.
Un’opzione più sicura è quella di utilizzare il cosiddetto test A/B offline. In questo caso i risultati di ricerca esistenti vengono confrontati con i risultati offerti dallo strumento testato. Abbiamo sviluppato questo metodo di test e lo utilizziamo da molto tempo, e grazie ad esso eliminiamo radicalmente il rischio che una nuova ricerca per determinate frasi dia risultati peggiori o nulli. Questo rende i test più sicuri anche per i clienti più importanti, per i quali, data la quantità di ricerche per le singole frasi, anche una piccola deviazione può avere un impatto significativo.
Dopo un test A/B offline, i clienti passano senza problemi a un test A/B online “live”. La metodologia vuole che ad alcuni visitatori venga assegnata una versione e ad altri l’altra. Poi si decide la percentuale di visualizzazione dell’una e dell’altra soluzione, che può essere di 50 e 50. Anche se all’inizio la proporzione può essere, per esempio, solo 80/20, in modo che il cliente possa accertarsi che la variante testata sia migliore o uguale alla variante originale. Alla fine, i due risultati vengono confrontati in modo relativo e se i valori di input, ad esempio il numero di sessioni, sono significativi, possiamo procedere alla valutazione.
Il risultato in meno di due settimane
Se dovessimo testare casi particolari, o se avessimo un e-shop con poco traffico, il test richiederebbe troppo tempo perché il basso numero di visite non sarebbe abbastanza significativo. Non sarebbe possibile determinare quale delle soluzioni confrontate sia la vincitrice del test.
Alcuni clienti effettuano il test per una settimana, altri per mesi. La durata del test viene stimata in base all’entità del traffico e al numero di conversioni. Successivamente, verificheremo il risultato attraverso la significatività statistica per ridurre il rischio di un risultato inaspettato. Tutto viene sempre definito in anticipo. In questo modo sono chiari l’inizio e la fine del test, le metriche di confronto e il metodo di valutazione. Le regole non devono essere cambiate in corso.
In questo caso, avevamo abbastanza dati di input. Pertanto, la tempistica e la valutazione del test sono state corrette. Il test di Datart si è svolto dall’1 al 12 settembre 2022. In meno di due settimane sono stati raccolti i dati necessari ed è stato possibile valutare il test e determinare il vincitore.
Luigi’s Box vincitore del test A/B
Il test A/B comparativo è stato condotto sulle versioni ceca e slovacca dell’e-shop. I test differiscono per alcuni valori, in quanto ogni mercato si comporta in modo diverso durante la ricerca.
Su entrambi gli e-shop testati, il rapporto di distribuzione era 50/50. Il 50% degli utenti ha ottenuto la versione originaria della ricerca, mentre il 50% ha ottenuto la versione con Luigi’s Box Search.
I risultati di entrambi i test sono stati significativi in base alla metodologia scelta.
La principale metrica comparativa è stata il Tasso di conversione, ovvero il tasso di conversione degli utenti della ricerca.
Dopo aver valutato i test, abbiamo scoperto che, rispetto alla versione di ricerca originaria, Search di Luigi’s Box è stato nettamente migliore su entrambe le versioni dell’e-shop, quella ceca e quella slovacca.
Un altro dato interessante è stat che con la nostra soluzione, per alcune categorie, non ci sono stati risultati sbagliati né ricerche senza risultati. Luigi’s Box è la risposta che ti serve se anche tu hai un analogo problema di pertinenza dei risultati.
Conclusioni
Le metriche scelte hanno dimostrato che l’intelligenza artificiale e il machine learning utilizzati da Luigi’s Box sono riusciti ad alzare il tasso di conversione, in questo caso del 14-19%. A seconda del settore e dello stato della ricerca la differenza nel tasso di conversione può essere ancra più marcata. Insieme al tasso di conversione sono cresciute anche le vendite, il che è l’obiettivo principale. Dopo simili risultati ai test, non sorprende che Datart userà Search di Luigi’s Box come suo strumento di ricerca con completamento automatico in entrambi gli store testati.
Questo esempio mostra chiaramente come gli anni di ricerca e sviluppo impiegati per creare il nostro strumento rappresentino un grande valore aggiunto per il cliente.
