Uzun vadeli etkilerin HOLD-OUT testi nedir?

Uzun vadeli etkiler için HOLD-OUT testi, bir sistem veya ürün üzerinde yapılan değişikliklerin dayanıklılığını ve uzun vadeli etkisini değerlendirmek için kullanılan bir yöntemdir; bu, ana deneyimin (örneğin, A/B testi) tamamlanmasının ardından yapılır. Klasik A/B testinden farklı olarak, burada etkiler sınırlı bir süre boyunca ölçülür; HOLD-OUT testi, etkinin uzun bir süre sonra devam edip etmediğini gözlemlemeye olanak tanır.

Örnek: yeni bir özellik için A/B testi yapıldıktan sonra, testte yer almayan bazı kullanıcılar (hold-out grubu) eski sürümü kullanmaya devam eder. Bu grubun davranışını birkaç hafta veya ay boyunca test grubuyla karşılaştırarak, değişikliklerin ne kadar sürdürülebilir olduğunu ve uzun vadede olumsuz etkiler yaratıp yaratmadığını anlayabiliriz.