Yangi model F1-balli 0.81 bo'lsa, uni 0.8 bo'lgan model bilan solishtirib, darhol ishlab chiqarishga chiqarish mumkinmi?

F1 ball 0.81 olan model ilə 0.8 olan modeli avtomatik olaraq daha yaxşı saymaq və dərhal istehsala buraxmaq mümkün deyil. 0.01 fərqi statistik olaraq önəmsiz ola bilər və real şəraitdə yaxşılaşmanı təmin etmir.

Yayımdan əvvəl:

• Güvənilirliyi qiymətləndirmək üçün statistik əhəmiyyət testi (məsələn, bootstrap) aparmaq.
• Modeli müstəqil test məlumat dəstində qiymətləndirmək.
• Modelin stabilliyini və performansını istehsala yaxın şəraitdə yoxlamaq.
• Biznes metriklərinə və mümkün risklərə təsirini qiymətləndirmək.

Yalnız geniş qiymətləndirmədən sonra yeni modelin yerləşdirilməsi barədə qərar qəbul edilə bilər.