Czym jest test A/A i do czego służy?

Test A/A to eksperyment, w którym dwie grupy użytkowników otrzymują tę samą wersję produktu lub interfejsu. Celem takiego testu jest sprawdzenie poprawności systemu eksperymentalnego, upewnienie się, że nie ma błędów systemowych, przesunięć w próbie lub problemów z metrykami.

Po co jest test A/A?

• Sprawdzić, czy narzędzie do testów A/B działa poprawnie.
• Ocenić naturalną zmienność metryk bez zmian w produkcie.
• Skonfigurować i skalibrować system zbierania danych i analizy.

Jeśli w teście A/A wykryte zostaną istotne różnice między grupami, jest to sygnał o problemach w infrastrukturze eksperymentalnej.