Czym jest prawo Twymana i jak mu przeciwdziałać?

Prawo Twyman mówi: «Każde badanie eksperymentalne, które wydaje się zbyt dobre, aby było prawdziwe, najprawdopodobniej jest błędem». W kontekście uczenia maszynowego i testów A/B oznacza to, że zbyt imponujące wyniki często są związane z błędami w danych, metodologii lub analizie.

Aby przeciwdziałać prawu Twyman:

• Sprawdzaj dane: Upewnij się co do poprawności i kompletności danych, wyklucz wartości odstające i błędy.
• Używaj grup kontrolnych: Do porównań i wykrywania anomalii.
• Powtarzaj eksperymenty: Kilka uruchomień zwiększa wiarygodność wyników.
• Stosuj poprawne metody statystyczne: Kontroluj poziom istotności i unikaj nadmiernego dopasowania.
• Bądź sceptyczny wobec zbyt dobrych wyników: Szukaj alternatywnych wyjaśnień i potwierdzeń.

W ten sposób prawo Twyman przypomina o konieczności dokładnej weryfikacji i walidacji wyników eksperymentów, aby uniknąć fałszywych wniosków.