Узак мөөнөттүү таасирлер үчүн HOLD-OUT тести эмне?

Узак мөөнөттүү таасирлер үчүн HOLD-OUT тести — бул системага же продуктка киргизилген өзгөртүүлөрдүн туруктуулугун жана узак мөөнөттүү таасирин баалоо ыкмасы, негизги эксперимент (мисалы, A/B тест) аяктагандан кийин жүргүзүлөт. Классикалык A/B тесттен айырмаланып, бул жерде таасир чектелген убакыт ичинде өлчөнөт; HOLD-OUT тести таасир узак убакыт бою сакталабы-жактабасын байкоого мүмкүндүк берет.

Мисал катары: жаңы функциянын A/B тестин өткөргөндөн кийин, тестке катышпаган кээ бир колдонуучулар (hold-out тобу) эски версияны колдонуп кала беришет. Бул топтун жүрүм-турумун тест тобу менен салыштырып, бир нече апта же ай бою, өзгөрүүлөрдүн канчалык туруктуу экенин жана алар узак мөөнөттүү терс кесепеттерин алып келеби-жок экенин түшүнүүгө болот.