Cos'è la legge di Twyman e come contrastarla?

La legge di Twyman afferma: «Qualsiasi ricerca sperimentale che sembri troppo buona per essere vera, probabilmente è un errore». Nel contesto dell'apprendimento automatico e dei test A/B, ciò significa che risultati troppo impressionanti sono spesso legati a errori nei dati, nella metodologia o nell'analisi.

Per contrastare la legge di Twyman:

• Verificare i dati: Assicurarsi della correttezza e completezza dei dati, escludere valori anomali e errori.
• Utilizzare gruppi di controllo: Per confronto e individuazione di anomalie.
• Ripetere gli esperimenti: Più esecuzioni aumentano l'affidabilità dei risultati.
• Applicare metodi statistici corretti: Controllare il livello di significatività ed evitare il sovraccarico.
• Essere scettici riguardo a risultati troppo buoni: Cercare spiegazioni alternative e conferme.

In questo modo, la legge di Twyman ricorda l'importanza di verificare e validare attentamente i risultati degli esperimenti per evitare conclusioni errate.