Ինչպե՞ս հասկանալ, արդյոք մոդելը լավ է կամ վատ: Ի՞նչ մեթրիկներ կան և ինչ են նշանակում:

Մոդելի որակական գնահատումը կախված է առաջադրանքի (վիճակագրություն, ռեգրեսիա և այլն) և նպատակների վրա: Հիմնական չափանիշները՝

Վիճակագրության առաջադրանքների համար:

• Ճշգրտություն (Accuracy) — ճիշտ կանխատեսումների մասնաբաժինը ընդհանուր թվից: Հարմար է հավասարակշռված դասերի համար:
• Նշան (Precision) — ճիշտ դրականների մասնաբաժինը բոլոր կանխատեսված դրականներից:
• Հիշողություն (Recall) — ճիշտ հայտնաբերված դրականների մասնաբաժինը բոլոր իրական դրականներից:
• F1-score — նշան և հիշողության հարմոնիկ միջինը, որը հավասարակշռում է երկուսին:
• ROC-AUC — ROC գծի մակերեսը, ցույց է տալիս դասերի բաժանման որակը:

Ռեգրեսիայի առաջադրանքների համար:

• MSE (Միջին քառակուսային սխալ) — զգայուն մեծ տարբերությունների նկատմամբ:
• MAE (ՄիջինAbsolute սխալ) — ավելի դիմացկուն արտասովոր արժեքների նկատմամբ:
• R² (Համամասնության գործակից) — ցույց է տալիս, թե ինչ տոկոսով է բացատրվում մոդելի կողմից փոփոխականությունը:

Լավ մոդելը այն է, որը ցույց է տալիս բարձր արժեքներ որակի մետրիկներում (օրինակ, բարձր ճշգրտություն և F1 դասակարգման համար, ցածր սխալներ ռեգրեսիայում) փորձարկման հավաքածուում, և ոչ միայն ուսուցման հավաքածուում (առանց ավելորդ հարմարեցման): Կարևոր է նաև հաշվի առնել բիզնեսի կոնտեքստը և մետրիկների միջև հավասարակշռությունը (օրինակ, երբեմն ավելի կարևոր է հիշողությունը, քան ճշգրտությունը):