Qu'est-ce que la loi de Twyman et comment y faire face?

La loi de Twyman stipule : « Toute recherche expérimentale qui semble trop belle pour être vraie est probablement une erreur ». Dans le contexte de l'apprentissage automatique et des tests A/B, cela signifie que des résultats trop impressionnants sont souvent liés à des erreurs dans les données, la méthodologie ou l'analyse.

Pour contrer la loi de Twyman :

• Vérifiez les données : Assurez-vous de leur exactitude et complétude, éliminez les valeurs aberrantes et les erreurs.
• Utilisez des groupes de contrôle : Pour la comparaison et la détection d'anomalies.
• Répétez les expériences : Plusieurs exécutions augmentent la fiabilité des résultats.
• Appliquez des méthodes statistiques correctes : Contrôlez le niveau de signification et évitez le surapprentissage.
• Soyez sceptique face à des résultats trop bons : Recherchez des explications alternatives et des confirmations.

Ainsi, la loi de Twyman rappelle l'importance de vérifier et valider soigneusement les résultats des expériences pour éviter des conclusions erronées.