Czym jest CUPED i jak obniża wariancję?

CUPED (Kontrolowane doświadczenie z użyciem danych przedeksperymentalnych) to metoda zmniejszania wariancji w testach A/B i eksperymentach, która wykorzystuje dane zebrane przed rozpoczęciem eksperymentu do kontrolowania wariacji.

Pomysł polega na tym, że użytkownicy mają metryki przedeksperymentalne (np. zachowanie przed uruchomieniem testu), które korelują z metryką docelową. Używając tych danych, można skorygować wyniki, zmniejszyć szum i zwiększyć moc statystyczną testu.

Jak to działa:

1. Zbiera się metrykę przedeksperymentalną (zmienną współzależną), np. średnią liczbę zakupów w tygodniu przed testem.
2. Dla każdego użytkownika oblicza się skorygowaną metrykę, odejmując wpływ metryki przedeksperymentalnej.
3. Analizuje się skorygowaną metrykę, co zmniejsza wariancję i pozwala wykryć efekt przy mniejszej liczbie użytkowników.

Przykład formuły:

[ Y_i^{adj} = Y_i - \theta (X_i - \bar{X}) ]

gdzie:

• (Y_i) to zaobserwowana metryka w eksperymencie dla użytkownika i
• (X_i) to metryka przedeksperymentalna
• (\bar{X}) to średnia metryki przedeksperymentalnej
• (\theta) to współczynnik regresji między (Y) a (X)

W ten sposób CUPED pomaga poprawić dokładność oszacowania efektu eksperymentu, zmniejszając wpływ losowych wahań i poprawiając jakość wniosków.