Kas ir priekšrocību funkcija un kāpēc tā samazina varianci?

Priekšrocības funkcija (advantage function) stiprināšanas mācībā ir mērs, cik ļoti darbība ir labāka par vidējo darbību dotajā stāvoklī. Formāli, priekšrocība A(s, a) = Q(s, a) - V(s), kur Q(s, a) ir gaidāmais atlīdzības līmenis, veicot darbību a stāvoklī s, un V(s) ir vidējais gaidāmais atlīdzības līmenis stāvoklī s.

Priekšrocības funkcijas izmantošana palīdz samazināt gradienta novērtējumu dispersiju stiprināšanas mācīšanās metodēs, piemēram, policy gradient. Tā vietā, lai izmantotu pilnu Q(s, a) novērtējumu, no tā atņem V(s) bāzes līniju, kas samazina vērtību izkliedi, neietekmējot gradienta matemātisko gaidāmo vērtību. Tas noved pie stabilākas un efektīvākas mācīšanās.

Piemērs:

# Pieņemsim, ka mums ir funkcijas Q un V
Q_sa = 10  # gaidāmais atlīdzības līmenis darbībai a stāvoklī s
V_s = 7    # vidējais gaidāmais atlīdzības līmenis stāvoklī s
advantage = Q_sa - V_s  # priekšrocība = 3

Priekšrocības vērtība rāda, cik ļoti darbība ir labāka par vidējo, un to izmanto politikas atjaunināšanai ar mazāku dispersiju.