Šta je HOLD-OUT test dugoročnih efekata?

Test HOLD-OUT za dugoročne efekte je metoda procene stabilnosti i trajnog uticaja promena uvedenih u sistem ili proizvod, nakon završetka glavnog eksperimenta (npr. A/B testa). Za razliku od klasičnog A/B testa, gde se efekat meri tokom ograničenog vremena, HOLD-OUT test omogućava da se posmatra da li efekat traje duži period.

Primer: nakon sprovođenja A/B testa nove funkcije, neki korisnici koji nisu učestvovali u testu (hold-out grupa) nastavljaju da koriste staru verziju. Upoređivanjem ponašanja ove grupe sa test grupom tokom nekoliko nedelja ili meseci, može se razumeti koliko su promene održive i da li izazivaju negativne dugoročne posledice.