Какво да правите, ако тестът показа нулев резултат?

Ако A/B тестът покаже нулев резултат (т.е. няма статистически значима разлика между вариантите), се препоръчва:

• Да се провери коректността на провеждането на теста: правилността на извадката, продължителността на теста, метриките.
• Да се оцени дали тестът е бил достатъчно мощен (анализ на мощността) за откриване на ефект.
• Да се анализира хипотезата: може би промените наистина не влияят на поведението на потребителите.
• Да се разгледа възможността за провеждане на допълнителни тестове с други промени или на други сегменти от аудиторията.
• Да се използват получените данни за вземане на решения — липсата на ефект също е важна информация.

Следователно, нулевият резултат не е провал, а информация за бъдещи действия и подобрения.