Wat is Twyman's law en hoe ertegen te verzetten?

De wet van Twyman stelt: «Elk experimenteel onderzoek dat te mooi lijkt om waar te zijn, is waarschijnlijk een fout». In de context van machine learning en A/B-testen betekent dit dat te indrukwekkende resultaten vaak gerelateerd zijn aan fouten in gegevens, methodologie of analyse.

Om Twyman's wet tegen te gaan:

• Controleer de gegevens: Zorg voor correctheid en volledigheid van de gegevens, sluit uitschieters en fouten uit.
• Gebruik controlegroepen: Voor vergelijking en het detecteren van anomalieën.
• Herhaal experimenten: Meerdere uitvoeringen verhogen de betrouwbaarheid van de resultaten.
• Pas correcte statistische methoden toe: Controleer het significantieniveau en voorkom overfitting.
• Wees sceptisch over te goede resultaten: Zoek naar alternatieve verklaringen en bevestigingen.

Op deze manier herinnert Twyman's wet eraan dat het belangrijk is om de resultaten van experimenten zorgvuldig te controleren en te valideren om valse conclusies te voorkomen.