Quelles métriques de qualité du code pour code-LLM (pass@k) ?

Метрика pass@k используется для оценки качества моделей генерации кода (code-LLM). Она показывает вероятность того, что среди k сгенерированных вариантов решения хотя бы один корректен (проходит тесты).

Например, pass@1 — это вероятность, что первый сгенерированный вариант правильный, pass@10 — вероятность, что среди 10 вариантов есть правильный.

Эта метрика особенно полезна, когда модель генерирует несколько вариантов решения, и позволяет оценить эффективность генерации с учётом разнообразия и качества.

Формально, если из n сгенерированных вариантов m проходят тесты, то pass@k вычисляется по формуле (при n > k):

pass@k = 1 - \frac{{\binom{n-m}{k}}}{{\binom{n}{k}}

где (\binom{a}{b}) — биномиальный коэффициент.

Таким образом, pass@k отражает вероятность успеха при выборе k попыток из n сгенерированных решений.