Ako hodnotili kvalitu modelu po ďalšom tréningu?

Kvalita modela po ďalšom tréningu sa zvyčajne hodnotí pomocou metrík, ktoré odrážajú jeho výkon na vyhradenom (validačnom alebo testovacom) súbore dát, ktorý nebol použitý počas tréningu.

Hlavné prístupy:

• Porovnanie metrík pred a po ďalšom tréningu. Napríklad presnosť, precíznosť, recall, F1-skóre pre klasifikáciu; RMSE, MAE pre regresiu.
• Použitie krížovej validácie pre spoľahlivejšie hodnotenie.
• Analýza pretrénovania: kontrola, či sa výkon na pôvodných dátach nezhoršil.
• Vizuálna reprezentácia: tvorba ROC kriviek, PR kriviek, chybových grafov.

Príklad: ak bol model ďalším tréningom na nových dátach, po tréningu sa otestuje na starom testovacom súbore a na novom, aby sa overilo, že kvalita sa zlepšila alebo aspoň nezhoršila.

Je tiež dôležité zohľadniť obchodné metriky a konečné ciele, napríklad, ako veľmi sa zlepšila kvalita odporúčaní alebo ako sa znížil počet chýb v reálnej aplikácii.