Test sintetici offline: un metodo veloce e sicuro per migliorare i risultati di ricerca

Nelle fasi di messa a punto della ricerca di un sito web, molte persone correggono le singole query oppure eseguono test A/B. Tuttavia, se vuoi essere sicuro al 100% che la ricerca funzioni come dovrebbe, prendi in considerazione l’utilizzo di test sintetici offline. Questo metodo consente di iterare rapidamente gli algoritmi di ricerca ed elimina il rischio di perdere conversioni, consentendoti di testare le modifiche offline, in totale sicurezza.

Ogni azienda di e-commerce desidera avere un’ottima funzione di ricerca, ma la strada per ottenerla è tutta in salita. Richiede grandi capacità di osservazione, una buona conoscenza delle metriche di ricerca e un approccio sistematico. La maggior parte delle persone, tuttavia, si limita a seguire l’istinto, il che non è il metodo ideale da adottare.

La potenza dei test sintetici offline

Abbiamo scoperto che uno dei metodi migliori per migliorare i risultati di ricerca si chiama “test sintetico offline”. “Offline” perché non hai bisogno di utenti veri per effettuare i test e “sintetico” perché utilizzi solo i dati misurati come base di riferimento: gli utenti in carne e ossa potrebbero comportarsi in modo diverso. Il vantaggio di questo metodo è che non rischi di avere un impatto negativo sul tasso di conversione, ottieni risultati piuttosto rapidamente e hai bisogno solo dei log di ricerca (o più precisamente: delle query, dei risultati e delle interazioni degli utenti con tali risultati).

Il metodo funziona in questo modo: si analizzano le ricerche passate degli utenti e si eseguono nuovamente con un nuovo algoritmo di classificazione. Se conosci i risultati delle ricerche effettuate in passato e sai quali di questi risultati sono stati cliccati o convertiti, puoi confrontarli con i risultati del nuovo algoritmo di ranking.

Analizzare i risultati dei test sintetici offline

Immaginiamo che per la query x, la vecchia ricerca abbia restituito il prodotto X in posizione 1. Ciò significa che il prodotto X era l’articolo che per questa query aveva fatto registrare i tassi di conversione più alti. Con il nuovo algoritmo, la nuova ricerca per la query x ha restituito il prodotto X in posizione 10. Riesci a indovinare quale ricerca è stata migliore? La ricerca originale.

È stato facile! Ora facciamo un esempio meno ovvio: la query x restituisce il prodotto Y come miglior risultato. Alcune persone cliccano su di esso e quindi sembra una corrispondenza pertinente, ma il risultato davvero più pertinente – il prodotto X – non compare tra i risultati. La nuova ricerca risolve il problema classificando il prodotto X al primo posto e il prodotto Y al secondo. Ciò che può sembrare una regressione, in realtà non lo è, perché i risultati per la query x sono migliori.

Come vedi, in molti casi non è così semplice analizzare i dati e capire cosa è meglio, e sono necessari modelli complessi per ottenere risultati affidabili e riproducibili. Esistono vari modelli quantitativi progettati per misurare la qualità del ranking, come il Guadagno cumulativo scontato normalizzato (NDCG), il Guadagno cumulativo scontato, il Rank reciproco  medio o la correttezza del ranking (precisione, precisione media mAP, ecc.).

Tutte queste metriche sono spesso misurate solo sui risultati top-n perché questi hanno le maggiori possibilità di essere visti dagli utenti. Esistono modelli ancora più potenti e sofisticati, basati sul feedback implicito, che sono più adatti all’analisi della qualità della ricerca. Ognuna di queste metriche ha caratteristiche diverse e analizza aspetti diversi della qualità della ricerca, ma alla fine, qualunque sia la tua scelta, avrai una misura quantitativa della tua ricerca che potrai utilizzare per confrontare diversi algoritmi di ranking.

Oltre la misurazione delle variazioni di qualità della ricerca

I test sintetici offline non si limitano a misurare la variazione della qualità della ricerca, ma ti permettono di capire il perché della differenza di prestazioni. Se fatti bene, dai test sintetici puoi ottenere rapporti e aggregazioni delle prestazioni delle singole query storiche con il nuovo ranking. Potrai quindi iniziare a fare domande e vedere le query esatte in cui il nuovo ranking ha aiutato o in cui ha peggiorato i risultati.

In base alla nostra esperienza, l’analisi di alcune query in cui le prestazioni di ricerca hanno subito un impatto maggiore può aiutarti a identificare gli schemi in cui il nuovo ranking ha un rendimento inferiore. Potrai quindi correggere le tue ipotesi, aggiornare l’algoritmo di ranking ed eseguire nuovamente il test offline.

La strada migliore è combinare i metodi

L’aspetto positivo dei test sintetici offline è che permettono di fare scoperte importanti. Se un test sintetico offline mostra che la tua nuova ricerca è molto peggiore di quella attuale, allora sarà peggiore in linea generale. Se il test sintetico offline mostra che la nuova ricerca è molto migliore di quella attuale, allora sarà in linea generale migliore. Ma di quanto?

Questo metodo non te lo può dire perché non rappresenta il comportamento degli utenti nel mondo reale. Per scoprirlo, devi eseguire un test A/B dal vivo. Quindi, la prossima volta che vuoi correggere qualcosa:

1. Trova una query che necessita di miglioramenti.
2. Aggiorna l’algoritmo di ranking.
3. Esegui dei test sintetici offline fino a quando non sei sicuro che ci sia un miglioramento.
4. Esegui un test A/B dal vivo per confermarlo.
5. Ripeti e ripeti.

Questo è il modo in cui lavoriamo noi di Luigi’s Box,  il metodo che ci ha permesso di acquisire il know-how di cui ti fidi. La buona notizia è che abbiamo integrato i test sintetici offline in Luigi’s Box,  così se vuoi provarli non dovrai svilupparli da solo.

Per saperne di più su questa funzione, non esitare a contattare i nostri rappresentanti commerciali.