Sampled softmax деген эмне жана анын эсептөөдө кандай артыкчылыгы бар?

Sampled softmax — бул softmax функциясын эсептөө үчүн жакындатылган ыкма, ал өтө көп класстардын тапшырмаларында колдонулат (мисалы, сунуш системаларында же чоң сөздүктөрү бар тил моделдеринде). Бардык класстар боюнча толук ыктымалдуулук таралышын эсептөө ордуна, sampled softmax кездейсөңчө тандалган негатив класстардын кичинекей тобун тандайт жана алардын жана оң (максаттуу) класстын softmaxын гана эсептейт.

Эсептөө татаалдыгы боюнча артыкчылыктар:

• Көптөгөн көбөйтүүлөр жана экспоненциалдык операциялардын санын маанилүү түрдө азайтат, анткени бардык класстар менен иштөө керек эмес.
• Модельдерди чоң класстар менен үйрөтүүгө мүмкүндүк берет, бул толук softmax менен мүмкүн эмес болчу эс тутум жана убакыт чектөөлөрү себептен.

Мисал: эгерде сизде 1 миллион класстар болсо жана sampled softmax 100 негатив мисал алса, эсептөөлөр only 101 класста гана жүргүзүлөт, бул ылдамдык жана ресурстарды үнөмдөөдө чоң пайда алып келет.