Mis on Twyman'i seadus ja kuidas sellele vastu seista?

Twyman seadus ütleb: «Iga eksperimentaalne uuring, mis näib liiga hea, et olla tõsi, on tõenäoliselt viga». Masinõppe ja A/B testimise kontekstis tähendab see, et liiga muljetavaldavad tulemused on sageli seotud andmete, metodoloogia või analüüsi vigadega.

Twyman seaduse vastu võitlemiseks:

• Kontrollige andmeid: Veenduge nende õigsuses ja täielikkuses, välistage kõrvalekalded ja vead.
• Kasutage kontrollrühmi: Võrdluseks ja anomaaliate avastamiseks.
• Korrake katseid: Mitme käivitusega suureneb tulemuste usaldusväärsus.
• Rakendage õigeid statistilisi meetodeid: Kontrollige olulisustaset ja vältige üleõppimist.
• Olge liiga heade tulemuste suhtes skeptiline: Otsige alternatiivseid selgitusi ja kinnitusi.

Seega tuletab Twyman seadus meelde, et tulemuste hoolikas kontroll ja valideerimine on oluline, et vältida valesid järeldusi.