Milyen metrikákat használjunk egy új modell értékelésére, amikor egy pilot csoportban vezetik be?

Amikor egy új modellt vezetnek be a pilotcsoportba, fontos olyan metrikákat használni, amelyek tükrözik mind a modell minőségét, mind annak hatását az üzletre és a felhasználókra. A fő metrikacsoportok:

• A modell minősége:

  • Osztályozás esetén: pontosság (accuracy), recall, precizitás (precision), F1-score, ROC-AUC.
  • Regresszió esetén: átlagos abszolút hiba (MAE), átlagos négyzetes hiba (MSE), R².

• Üzleti hatású metrikák:

  • Konverziós ráta, felhasználói megtartás, bevétel, elkötelezettség — a feladattól függően.

• Stabilitás és megbízhatóság metrikái:

  • Adatdrift, a jóslatok időbeli stabilitása.

• Felhasználói élmény metrikái:

  • Válaszidő, alkalmazási hibák.

Pilot tesztekhez gyakran alkalmaznak A/B tesztelést, összehasonlítva az új modell metrikáit a jelenlegiével. Fontos nyomon követni nemcsak a jóslási minőség javulását, hanem annak hatását az üzleti mutatókra és a felhasználói élményre is.