Կոդի որակի չափանիշներ for code-LLM (pass@k)?

pass@k չափանիշը օգտագործվում է կոդի սերնդի մոդելների (code-LLM) որակն գնահատելու համար: Այն ցույց է տալիս, որ առնվազն մեկը՝ k սերնդած տարբերակներից, ճիշտ է (անցնում է փորձարկումները):

Օրինակ, pass@1-ը ցույց է տալիս, որ առաջին սերնդած տարբերակը ճիշտ է, իսկ pass@10-ը՝ որ 10 տարբերակներից առնվազն մեկը ճիշտ է:

Այս չափանիշը հատկապես օգտակար է, երբ մոդելը մի քանի տարբերակներ է ստեղծում, և թույլ է տալիս գնահատել սերնդի արդյունավետությունը բազմազանության և որակի հաշվառմամբ:

Անհատականորեն, եթե n սերնդած տարբերակներից m-ը անցնում է փորձարկումները, ապա pass@k-ը հաշվարկվում է հետևյալ բանաձևով (երբ n > k)

pass@k = 1 - \frac{{\binom{n-m}{k}}}{{\binom{n}{k}}}

որտեղ (\binom{a}{b}) բինոմի.coefficient է:

Այսպիսով, pass@k-ը արտացոլում է հաջողության հավանականությունը, երբ ընտրում ենք k փորձեր n սերնդած լուծումներից։