I test A/B sulle landing page sono lo strumento più usato e meno governato del marketing digitale: quasi tutte le aziende strutturate ne hanno lanciato almeno uno, pochissime sanno dire con precisione che cosa hanno imparato.
Il problema quasi mai è la piattaforma. È il disegno del test: ipotesi generiche, campioni troppo piccoli, esperimenti fermati appena il grafico si muove nella direzione sperata.
Il risultato è un costo doppio. Si spende tempo per ottenere numeri che non reggono, e si prendono decisioni di budget su differenze che sono rumore.
Questo articolo spiega come impostare esperimenti che producono decisioni difendibili: quale ipotesi scrivere, quanto traffico serve davvero, quanto far durare il test e quando conviene non testare affatto.
In sintesi
Un test A/B confronta due versioni di una pagina mostrandole a gruppi di visitatori equivalenti nello stesso periodo, per isolare l’effetto di una sola variabile.
Un test è affidabile quando ha un’ipotesi scritta, una sola metrica primaria, un campione calcolato prima del lancio e una durata decisa in anticipo.
Con una conversione di partenza del 5%, riconoscere un miglioramento relativo del 20% richiede circa 7.600 visitatori per variante: sotto quella soglia il test non può dare una risposta.
La regola più violata è anche la più semplice: non si guardano i risultati ogni giorno e non si chiude il test appena compare la significatività.
Vuoi più risultati senza sprecare budget?
In CULT adv costruiamo campagne performance con un approccio full funnel: creatività, targeting e ottimizzazione continua.
🎯 Analizziamo il tuo caso e ti proponiamo un piano concreto per generare risultati reali.
Richiedi una consulenza
Che cosa misura davvero un test A/B sulle landing page
Come impostare il test in cinque passaggi
Quanto traffico serve per un test A/B sulle landing page
Quanto deve durare il test
Che cosa conviene testare per primo
Errori comuni nei test A/B sulle landing page
Quando conviene non testare
Checklist operativa prima di lanciare
Approfondimenti correlati
Fonti
Domande frequenti
Conclusione
Perché molti test A/B sulle landing page non sono affidabili
La maggior parte degli esperimenti che vediamo negli audit non è sbagliata nei contenuti. È sbagliata nel metodo, e questo la rende inutilizzabile per decidere.
La causa più frequente è una aspettativa sproporzionata: ci si aspetta che una variazione produca salti a doppia cifra, quando i dati dicono il contrario.
Il problema non è lo strumento, è il disegno del test
Cambiare piattaforma non migliora un esperimento mal progettato. Un test senza ipotesi è solo una variazione grafica osservata mentre accade qualcos’altro.
Le landing page con impostazioni deboli a monte sono il caso tipico: prima di testare conviene verificare gli errori strutturali di una landing page di lead generation, perché ottimizzare una pagina che non regge il confronto con la promessa dell’annuncio non porta lontano.
Tre segnali che un test A/B sulle landing page è fragile
Il primo segnale è la mancanza di una metrica primaria dichiarata prima del lancio: se si guardano cinque metriche, prima o poi una diventa significativa per caso.
Il secondo è la durata variabile, decisa guardando il grafico. Il terzo è l’assenza di un numero di visitatori calcolato in anticipo.
Se manca anche uno solo di questi tre elementi, il risultato non è una misura: è un’impressione con un numero accanto.
Che cosa misura davvero un test A/B sulle landing page
Un esperimento non dimostra che la versione B è migliore. Stima la probabilità che la differenza osservata non sia dovuta al caso, dato un certo livello di rumore.
Effetto reale, rumore e potenza statistica
Ogni misura di conversione oscilla per motivi indipendenti dalla pagina: giorno della settimana, mix di canali, stagionalità, qualità del traffico.
La potenza statistica è la capacità del test di riconoscere un effetto vero quando esiste. Con campioni piccoli la potenza crolla e il test resta muto anche davanti a un miglioramento reale.
Per questo la metrica primaria va scelta sul risultato commerciale, non sul clic: il riferimento utile è il costo per lead qualificato, non il numero grezzo di moduli inviati.
Perché chi sperimenta di più vince di meno
Le aziende che hanno industrializzato la sperimentazione sono anche quelle che dichiarano i tassi di successo più bassi. Non è un paradosso: è l’effetto di una misurazione onesta.
Kohavi e Thomke riportano che su Google e Bing solo il 10-20% circa degli esperimenti produce risultati positivi, mentre in Microsoft nel complesso un terzo risulta efficace, un terzo è neutro e un terzo peggiora le metriche.
Gli stessi autori segnalano che aziende come Microsoft, Amazon, Booking.com, Facebook e Google conducono ciascuna oltre 10.000 esperimenti controllati all’anno.
E quando un cambiamento funziona, l’ordine di grandezza è contenuto: nel lavoro di Kohavi e colleghi gli esperimenti vincenti migliorano le metriche chiave dello 0,1-1,0% una volta diluiti sull’impatto complessivo.
Implicazione operativa: se il vostro esperimento promette un +40% e lo ottiene con 400 visite per variante, il problema non è la fortuna. È che il test non aveva la sensibilità per misurare nulla, e ha misurato rumore.
Come impostare un test A/B sulle landing page in cinque passaggi
La sequenza che segue è quella che usiamo negli audit di conversione. Ogni passaggio esiste per eliminare un modo specifico di sbagliare.
1. Scrivere un’ipotesi, non un’idea
Un’ipotesi ha tre parti: che cosa si cambia, quale comportamento ci si aspetta di modificare e perché. «Proviamo un altro colore del bottone» non è un’ipotesi.
«Spostando la prova sociale sopra il modulo riduciamo l’incertezza nel momento della decisione e aumentiamo l’invio del form» lo è, perché si può smentire.
L’ipotesi migliore nasce quasi sempre da un disallineamento tra annuncio e pagina: lavorare sul message match tra campagna e landing page produce ipotesi più forti di qualsiasi lista di best practice.
2. Scegliere una sola metrica primaria
La metrica primaria decide il test. Tutte le altre sono di controllo e servono a capire se il risultato ha effetti collaterali, non a dichiarare un vincitore.
Per una pagina di lead generation la metrica primaria ragionevole è il tasso di lead qualificati, non il tasso di invio del modulo. Le micro-conversioni restano utili come diagnosi, ma non decidono.
Questo presuppone un tracciamento pulito: senza un tracciamento delle conversioni impostato correttamente il test misura la qualità del tag manager, non quella della pagina.
3. Calcolare il campione prima di lanciare
Il numero di visitatori necessario si calcola prima, non si scopre dopo. Il calcolo dipende da due soli valori: la conversione attuale e la differenza minima che si vuole poter riconoscere.
Se il campione necessario supera il traffico disponibile in un trimestre, il test non va lanciato: va riformulato con un’ipotesi più ambiziosa o abbandonato.
4. Fissare la durata e non guardare i risultati ogni giorno
La durata si dichiara insieme al campione. Guardare i risultati quotidianamente non è neutro: cambia la probabilità di trovare un falso positivo.
Berman e Pekelis, analizzando 2.101 esperimenti commerciali condotti sulla piattaforma Optimizely nel 2014, stimano che circa il 73% degli sperimentatori con osservazioni intorno al 90% di confidenza interrompa il test proprio in quel momento.
L’effetto misurato: il tasso di falsa scoperta medio sale dal 33% al 38% sull’insieme degli esperimenti, e al 40% tra quelli interrotti in anticipo.
5. Decidere in anticipo la regola di chiusura
Prima del lancio va scritto che cosa si fa in ciascuno dei tre esiti possibili: B vince, B perde, nessuna differenza rilevabile.
«Nessuna differenza» è un esito legittimo e frequente. Trattarlo come un fallimento è il modo più rapido per spingere il team a forzare i numeri.
Quanto traffico serve per un test A/B sulle landing page
La regola pratica per un test su una percentuale di conversione, con confidenza al 95% e potenza all’80%, è: n = 16 × p × (1 − p) / d² visitatori per variante.
In cui p è il tasso di conversione attuale e d è la differenza assoluta minima che si vuole poter riconoscere.
La tabella applica la formula a una landing page che converte al 5%, con un traffico ipotetico di 300 visite al giorno divise a metà tra le due varianti.
| Miglioramento da riconoscere | Conversione attesa | Visitatori per variante | Giorni a 300 visite/giorno |
|---|---|---|---|
| +10% relativo | 5,50% | 30.400 | circa 203 |
| +20% relativo | 6,00% | 7.600 | circa 51 |
| +30% relativo | 6,50% | 3.378 | circa 23 |
| +50% relativo | 7,50% | 1.216 | circa 9 (minimo 14 per ciclo settimanale) |
La lettura è scomoda ma utile: con 300 visite al giorno non è possibile riconoscere miglioramenti del 10%. Non «è difficile»: non è possibile.
Da qui discende una regola di allocazione: le aziende con traffico limitato devono testare cambiamenti grandi, non rifiniture. Il resto delle risorse rende di più se investito sulla qualità del traffico o sull’offerta.
Quanto deve durare un test A/B sulle landing page
La durata minima non è un numero di giorni scelto per comodità: è il tempo necessario a raccogliere il campione calcolato, arrotondato a settimane intere.
Le settimane intere servono a coprire il ciclo settimanale completo: il comportamento del lunedì mattina e quello del sabato sera non sono confrontabili, e un test di dieci giorni pesa i giorni in modo squilibrato.
Kohavi e colleghi raccomandano inoltre di far durare gli esperimenti due settimane per individuare gli effetti di novità, cioè le reazioni iniziali che si esauriscono quando la variazione smette di essere nuova.
Due settimane sono quindi il pavimento, non il soffitto: se il campione richiede otto settimane, il test dura otto settimane o non si fa. Sul tema dei tempi di risposta delle campagne abbiamo raccolto criteri più ampi nell’analisi su quanto tempo serve per vedere risultati.
Che cosa conviene testare per primo
L’ordine delle priorità non è estetico: si testa prima ciò che ha più probabilità di spostare un comportamento, perché solo gli effetti grandi sono misurabili con traffico normale.
| Elemento | Ipotesi tipica | Potenziale di effetto | Quando ha senso |
|---|---|---|---|
| Promessa in apertura | Una promessa specifica riduce l’abbandono immediato | Alto | Sempre, è il primo test da fare |
| Offerta e incentivo | Un incentivo pertinente aumenta i lead qualificati | Alto | Se il volume di lead è basso |
| Lunghezza e campi del form | Meno attrito aumenta gli invii, più campi migliorano la qualità | Medio-alto | Se la qualità dei lead è instabile |
| Prezzo o range di prezzo | La trasparenza filtra e qualifica la domanda | Medio-alto | Su servizi a ticket alto |
| Prova sociale e credibilità | Referenze pertinenti riducono l’incertezza | Medio | Su acquisti considerati |
| Colore e microcopy del bottone | Un contrasto maggiore aumenta i clic | Basso | Solo con traffico molto elevato |
Le prime due righe valgono più di tutte le altre messe insieme. Il caso del prezzo merita una valutazione a parte, che abbiamo approfondito chiedendoci se conviene mostrare il prezzo in landing page.
Sul form vale lo stesso principio: la scelta dei campi è un compromesso tra volume e qualità, come mostrano le domande giuste in un form di lead generation.
Errori comuni nei test A/B sulle landing page
Gli errori ricorrenti sono pochi e sempre gli stessi. Riconoscerli in anticipo vale più di qualsiasi strumento aggiuntivo.
| Errore | Perché accade | Effetto sui risultati | Correzione |
|---|---|---|---|
| Chiudere il test appena compare la significatività | Pressione a decidere in fretta | Falsi positivi: il tasso di falsa scoperta sale dal 33% al 40% | Durata e campione fissati prima del lancio |
| Cambiare più elementi insieme | Si vuole massimizzare l’effetto | Non si sa quale variabile ha agito | Una variabile per test, iterando |
| Usare come metrica primaria il clic | È il dato più disponibile | Si ottimizza il traffico, non la pipeline | Metrica primaria sul lead qualificato |
| Far girare il test su traffico non omogeneo | Le campagne cambiano durante il test | L’effetto misurato include il mix di canali | Budget e targeting congelati per la durata |
| Testare su volumi insufficienti | Non si calcola il campione | Il test non può rilevare nulla | Calcolo del campione prima di iniziare |
| Ignorare il segmento mobile | Si guarda solo il dato aggregato | Un miglioramento desktop nasconde un peggioramento mobile | Lettura per dispositivo come metrica di controllo |
L’ultimo punto merita attenzione: su molte campagne italiane il traffico mobile supera il 70% e un risultato aggregato positivo può nascondere un calo netto su smartphone.
Quando conviene non testare
Testare è costoso in tempo e traffico. In tre casi la scelta razionale è non farlo.
Il primo: quando il traffico non basta neanche per l’ipotesi più ambiziosa. In quel caso si decide con giudizio esperto e si misura l’effetto sul periodo, accettando che non sia una prova.
Il secondo: quando la pagina ha difetti evidenti. Non si testa un’ipotesi contro un errore, si corregge l’errore e poi si testa; il riferimento utile resta il lavoro sul tasso di conversione complessivo.
Il terzo: quando il problema sta a monte. Se il traffico non è in target, nessuna variante di pagina lo rende tale, e il tema diventa la selezione dei canali e dei KPI con cui si giudica l’advertising.
Checklist operativa prima di lanciare
Sette controlli. Se anche uno solo resta senza risposta scritta, il test non è pronto.
1. L’ipotesi è scritta in una frase che si può smentire.
2. La metrica primaria è una sola ed è commerciale.
3. Il campione per variante è stato calcolato e confrontato con il traffico reale.
4. La durata è fissata in settimane intere, minimo due.
5. Budget, targeting e creatività delle campagne restano invariati per tutta la durata.
6. È stata verificata la resa su mobile di entrambe le varianti.
7. È scritto che cosa si farà in ciascuno dei tre esiti possibili.
Un ultimo controllo riguarda la conformità: lo strumento di test scrive cookie o identificatori? La risposta cambia gli adempimenti, e va coordinata con le scelte descritte nella nostra analisi su privacy e measurement.
Approfondimenti correlati
Consulenza conversion rate optimization
Fonti
Ron Kohavi, Stefan Thomke, The Surprising Power of Online Experiments, Harvard Business Review, 2017.
Ron Kohavi, Alex Deng, Roger Longbotham, Ya Xu, Seven Rules of Thumb for Web Site Experimenters, ACM SIGKDD, 2014.
Ron Berman, Leonid Pekelis et al., p-Hacking and False Discovery in A/B Testing, Marketing Science Institute, 2018.
Unbounce, Conversion Benchmark Report: mediana del 6,6% su 41.000 landing page, dati al quarto trimestre 2024.
Domande frequenti sui test A/B sulle landing page
Quanti visitatori servono per un test A/B sulle landing page?
Dipende dal tasso di conversione di partenza e dalla differenza minima che si vuole riconoscere. Con una conversione base del 5% e un miglioramento relativo del 20% servono circa 7.600 visitatori per variante; per riconoscere un miglioramento del 10% ne servono oltre 30.000.
Per quanto tempo va lasciato attivo un test A/B sulle landing page?
Almeno due settimane intere, per coprire due cicli settimanali completi e assorbire gli effetti di novità. Kohavi e colleghi raccomandano proprio due settimane per verificare se l’effetto misurato nei primi giorni regge nel tempo.
Come si testa quando il traffico è poco?
Si rinuncia a misurare differenze piccole e si testano cambiamenti strutturali: offerta, promessa, lunghezza del form, prova sociale. In alternativa si usano micro-conversioni come metrica primaria, accettando che siano indicatori e non risultati commerciali.
Serve il consenso ai cookie per fare un test A/B sulle landing page?
Dipende dalla tecnologia. Uno split lato server che non installa cookie di profilazione ha requisiti diversi da uno strumento client-side che traccia il visitatore: la scelta va verificata con chi gestisce privacy e tracciamento prima di lanciare il test.
Qual è la differenza tra test A/B e test multivariato?
Il test A/B confronta due versioni complete e isola una sola variabile per volta. Il test multivariato confronta combinazioni di più elementi e richiede un traffico molto superiore: per la maggior parte delle aziende italiane resta fuori portata.
Conclusione: i test A/B sulle landing page come sistema
Un singolo esperimento vale poco. Il valore nasce dalla sequenza: ipotesi che migliorano perché imparano dalle precedenti, e un archivio di risultati che impedisce di ripetere gli stessi tentativi ogni anno.
Questo è anche il motivo per cui la sperimentazione funziona meglio quando è parte di un sistema di acquisizione governato, e non un’attività occasionale delegata allo strumento di turno.
In CULT adv progettiamo e gestiamo programmi di ottimizzazione della conversione collegati alle campagne e alla pipeline commerciale: ipotesi, disegno dei test, misurazione e lettura dei risultati insieme ai vostri dati di vendita.
Se volete capire quali test hanno senso sul vostro traffico attuale e quali no, parlatene con il nostro team: analizziamo volumi, tassi di conversione e qualità dei lead e vi diciamo dove conviene intervenire per primo.
