Ի՞նչ անել, եթե փորձարկումը վատթարացնի մետրիկաները։

Եթե A/B թեստի արդյունքներում մետրիկաները վատանում են, կարևոր է չպանել և կատարել մանրամասն վերլուծություն:

• Ստուգել տվյալների ճշգրտությունը և արդյունքների վիճակագրական կարևորությունը:
• Վերլուծել, թե կոնկրետ որ մետրիկաներն են վատացել և ինչու — հնարավոր է, փոփոխությունը ազդել է օգտվողի փորձի կամ տեխնիկական կայունության վրա:
• Արձագանքել արտաքին գործոններին, որոնք կարող են ազդել արդյունքների վրա (սեզոնայնություն, շուկայական արշավներ և այլն):
• Հարկավորության դեպքում վերականգնել փոփոխությունները, որպեսզի չվնասեք արտադրանքը օգտվողների համար:
• Ուսումնասիրել դասեր՝ հասկանալ, թե ինչ չի աշխատել և օգտագործել այդ գիտելիքները ապագա փորձարկումների համար:

Այսպիսով, մետրիկաների վատթարացումը վերլուծության և բարելավման ազդանշան է, ոչ միայն գաղափարը մերժելու պատճառ։