Кои са метриките за качество на кода за code-LLM (pass@k)?

Метриката pass@k се използва за оценка на качеството на моделите за генериране на код (code-LLM). Тя показва вероятността поне една от генерираните k варианта да е правилна (да премине тестовете).

Например, pass@1 е вероятността първият генериран вариант да е правилен, а pass@10 е вероятността сред 10 варианта да има правилен.

Тази метрика е особено полезна, когато моделът генерира няколко варианта за решение и позволява оценка на ефективността на генерирането с оглед на разнообразието и качеството.

Формално, ако от n генерирани варианта m преминават тестовете, тогава pass@k се изчислява по формулата (когато n > k):

pass@k = 1 - \frac{{\binom{n-m}{k}}}{{\binom{n}{k}}}

където (\binom{a}{b}) е биномиалният коефициент.

По този начин, pass@k отразява вероятността за успех при избор на k опита от n генерирани решения.