Kas ir A/A tests un kam tas ir paredzēts?

A/A tests ir eksperiment, kurā divas lietotāju grupas saņem vienu un to pašu produkta vai saskarnes versiju. Šī testa mērķis ir pārbaudīt eksperimentu sistēmas pareizību, pārliecināties, ka nav sistēmisku kļūdu, izlases noviržu vai problēmu ar metriku.

Kāpēc ir nepieciešams A/A tests?

• Pārbaudīt, vai A/B testēšanas rīks darbojas pareizi.
• Novērtēt metrikas dabisko svārstību bez izmaiņām produktā.
• Iestatīt un kalibrēt datu vākšanas un analīzes sistēmu.

Ja A/A testā tiek konstatētas nozīmīgas atšķirības starp grupām, tas ir signāls par problēmām eksperimentālajā infrastruktūrā.