Machine Learning / AI

Sniedziet piemēru, kad nepareiza BatchNorm izmantošana `eval()` režīmā noveda pie kļūdām prognozēs.

Praktiska uzdevums Kāds artefaktu kopums ļauj godīgi reproducēt divu LoRA palaišanas salīdzinājumu? - Tik galīgā kvalitātes tabula. - Komits ar kodu un galīgās metriku ekrānuzņēmumu. - Eksperimenta kods un konfigurācijas fails. - Kods, datu hash, pamata modelis, LoRA konfigurācija, atkarības un palaišanas komanda. - Tikai saite uz Git zaru. - Kods, LoRA parametri, pamata modeļa versija un atkarības.

Vai šobrīd notiek intervijas lielās tehnoloģiju uzņēmumos, piemēram, Yandex vai Alfa?

Praktiskais uzdevums SQL vaicājums uz 80 miljoniem ziņojumu rada dublikātus pēc JOIN. Kuru darbību vislabāk sākt pirmajam? - Pārbaudīt JOIN kardinalitāti, atslēgas un izpildes plānu pirms optimizācijas. - Izveidot indeksu uz vienu savienošanas lauku. - Eksportēt rezultātu uz CSV un noņemt dublikātus Python. - Vienmēr pievienot DISTINCT visiem kolonnām. - Pievienot DISTINCT pēc rezultātu pārbaudes paraugā. - Pārbaudīt savienošanas atslēgas un abu tabulu unikālitāti.

Pēc jaunas modeļa versijas vidējā kvalitātes novērtējums pieauga, bet redaktori saka, ka atbildes uz juridiskām un finanšu tēmām ir ievērojami pasliktinājušās. Kuru vizualizāciju jūs veiktu pirmo, lai izlemtu, vai pārtraukt izdošanu?

Kā parasti pārvaldāt datu un modeļu versijas šādās eksperimentēs?

Vai plānojat turpināt palikt Filipīnās vai pārcelties uz citu valsti?

Vai jūs varat sīkāk pastāstīt, kas jums šķita "noslogots" jautājumos un kā tas ietekmēja jūsu uztveri par interviju?

Vai jums ir pieredze darbā pilnībā angļu valodā runājošās komandās?

Vai jums ir pieredze ar AI intervijām?

Vai jums ir piedāvājumi rokā vai fināla posmos citās uzņēmumos?

Kā jūs kvantitatīvi novērtētu izmešu ietekmi uz modeļa metriku, piemēram, precizitāti vai F1-score?

Kā jūs optimizētu savienojuma atslēgu indeksus, lai samazinātu dublikātus un paātrinātu vaicājumu?

Iedomājieties, ka jūs strādājat ar modeli PyTorch un pēc tā pārslēgšanās uz novērtējuma režīmu eval() redzat, ka metrikas uz fiksēta 10 000 piemēru testu kopuma mainās katrā palaišanā. Jūs fiksējat nejaušo skaitļu ģeneratoru sākotnējo stāvokli, lai nodrošinātu atkārtojamību: kur vēl varētu būt slēpts izmaiņu avots? Izskaidrojiet Dropout, BatchNorm un torch.no_grad() lomu un nosauciet metrikas ar sliekšņiem, ar kuriem pārbaudīsiet rezultātu stabilitāti.

Novērtējiet savu angļu valodu atsevišķi lasīšanas/rakstīšanas un sarunu līmenī pēc CEFR līmeņiem.

Praktiska uzdevums AI iesaka apmācīt LoRA uz visiem 2 miljoniem neattīrītu dialogu. Kura ir kandidāta nobriedušākā atbilde? - Uzticēties AI: liels korpuss pats izlīdzinās kļūdas. - Vispirms mainīt promptu, nemainot datus. - Apmācīt LoRA attīrītajā daļā un salīdzināt ar pamata modeli. - Pirms apmācības pārbaudīt nejaušu marķējuma paraugu. - Vispirms pārbaudīt datus un kvalitāti pēc tēmām atsevišķā kopā, tad ierobežoti apmācīt LoRA. - Apmācīt visā korpusā, bet samazināt LoRA rangu.

Kā tieši jūs izmantotu `EXPLAIN`, lai identificētu veiktspējas problēmas šajā vaicājumā?

Kura formalizācijas forma jums ir visērtākā: GPH, IP vai TК?

Dialogu tabulā ir 80 miljonu ziņojumu, un analītiskais vaicājums vērtēšanas komplektam ilgst 25 minūtes un dažreiz atgriež dublikātu jautājumu-atbilžu pārus. Ko jūs labāk pirmo labotu un kāpēc?

Lai ģenerētu jautājumus, liels valodas modelis slikti uztur stilu retās tēmās. AI asistents piedāvā nekavējoties palaist LoRA uz visa vēsturiskā korpusa no 2 miljoniem dialogu, bet marķēšana ir daļēji trokšņaina. Kurās gadījumos jūs neuzticētos šim padomam un ko izvēlētos pirmais?