O que é a lei de Twyman e como enfrentá-la?

A lei de Twyman afirma: « Qualquer investigação experimental que pareça demasiado boa para ser verdade, provavelmente é um erro ». No contexto de aprendizagem automática e testes A/B, isso significa que resultados demasiado impressionantes muitas vezes estão relacionados a erros nos dados, metodologia ou análise.

Para combater a lei de Twyman:

• Verifique os dados: Assegure-se da correção e completude dos dados, exclua valores extremos e erros.
• Use grupos de controlo: Para comparação e deteção de anomalias.
• Repita os experimentos: Várias execuções aumentam a fiabilidade dos resultados.
• Aplique métodos estatísticos corretos: Controle o nível de significância e evite o sobreajuste.
• Seja cético em relação a resultados demasiado bons: Procure explicações alternativas e confirmações.

Assim, a lei de Twyman lembra da importância de verificar e validar cuidadosamente os resultados dos experimentos para evitar conclusões falsas.