Kas ir CUPED un kā tas samazina variāciju?

CUPED (Kontrolēts eksperiments, izmantojot pirms-eksperimenta datus) ir metode, kas samazina varianci (izkliedi) A/B testos un eksperimentos, izmantojot datus, kas ir savākti pirms eksperimenta, lai kontrolētu variācijas.

Ideja ir tāda, ka lietotājiem ir pirms-eksperimenta metriki (piemēram, uzvedība pirms testa uzsākšanas), kas korelē ar mērķa metriku. Izmantojot šos datus, var koriģēt rezultātus, samazināt troksni un palielināt statistisko jaudu.

Kā tas darbojas:

1. Savāc pirms-eksperimenta metriku (kovariātu), piemēram, vidējo pirkumu skaitu nedēļā pirms testa.
2. Katram lietotājam tiek aprēķināta korektēta metriku, atņemot pirms-eksperimenta metrikas ietekmi.
3. Analizējot korektēto metriku, tas samazina varianci un ļauj atklāt efektu ar mazāku lietotāju skaitu.

Piemērs formulas:

[ Y_i^{adj} = Y_i - \theta (X_i - \bar{X}) ]

kur:

• (Y_i) ir novērotā metriku eksperimentā lietotājam i
• (X_i) ir pirms-eksperimenta metriku
• (\bar{X}) ir pirms-eksperimenta metrikas vidējā vērtība
• (\theta) ir regresijas koeficients starp (Y) un (X)

Šādi CUPED palīdz uzlabot novērtējuma precizitāti par eksperimenta efektu, samazinot nejaušo svārstību ietekmi un uzlabojot secinājumu kvalitāti.