Machine Learning / AI

Nesate nieko prieš išbandyti pokalbį su DI?

Koks minimalus ir patogus pajamų lygis jums rubliais?

Kokia jūsų aukštoji išsilavinimas ir studijų kryptis?

Kodėl dabar svarstote naują pasiūlymą?

Kaip tiksliai BatchNorm naudoja išsaugotas statistikas `eval()` režimu ir kodėl tai svarbu rezultatų stabilumui?

Ar turite klausimų dėl bendradarbiavimo sąlygų?

Kaip vizualizuotumėte teminių įvertinimų iškraipymus, norėdami suprasti, kaip jie veikia bendrą vaizdą?

Praktinė užduotis PyTorch LLM patikra du kartus vykdant duoda skirtingus rezultatus. Kuris sprendimas yra brandesnis? - Įjungti eval() ir dar kartą palyginti rezultatus. - Padidinti patikros rinkinio dydį. - Pakartoti vykdymą ir pasirinkti geriausią rezultatą. - Pereiti prie TensorFlow be priežasties analizės. - Nustatyti seed ir laikyti problemą išspręsta. - Patikrinti eval(), no_grad(), seed, DataLoader ir deterministines CUDA operacijas.

Papaskinkite, kaip jums patiko pokalbio formatas: kas jums patiko ir ką norėtumėte patobulinti.

Практическое задание Искусственный интеллект создал код для решения о выпуске нового LLM. Проведите обзор: измените его так, чтобы редактор мог сравнить качество версий по тематическим сегментам, увидеть разброс оценок и заметить риск ухудшения на малой группе данных. import matplotlib.pyplot as plt import pandas as pd scores = pd.read_csv('model_scores.csv') summary = scores.groupby('model_version')['score'].mean() plt.bar(summary.index, summary.values) plt.title('Качество моделей') plt.ylabel('Средняя оценка') plt.show() print('Лучшая версия:', summary.idxmax()) --- import matplotlib.pyplot as plt import pandas as pd scores = pd.read_csv('model_scores.csv') stats = ( scores.groupby(["topic", "model_version"])["score"] .agg(["mean", "std", "count"]) .reset_index() ) print(stats) for topic, group in scores.groupby("topic"): group.boxplot(column="score", by="model_version") plt.title(f"Тема: {topic}") plt.suptitle("") plt.ylabel("Оценка") plt.show() small_groups = stats[stats["count"] < 30] print("Малые группы - выводы ненадежны:") print(small_groups)

Praktinė užduotis Dirbtinis intelektas sugeneravo kodą, skirtą priimti sprendimą dėl naujo LLM leidimo. Atlikite peržiūrą: pakeiskite jį taip, kad redaktorius galėtų palyginti versijų kokybę pagal teminius segmentus, matyti įvertinimų sklaidą ir pastebėti riziką pablogėti mažoje duomenų grupėje. import matplotlib.pyplot as plt import pandas as pd scores = pd.read_csv('model_scores.csv') summary = scores.groupby('model_version')['score'].mean() plt.bar(summary.index, summary.values) plt.title('Modelių kokybė') plt.ylabel('Vidutinė įvertinimas') plt.show() print('Geriausia versija:', summary.idxmax())

Ar esate pasiruošę svarstyti dalinio darbo ir derinių projektus?

Kaip užtikrinate eksperimento rezultatų kilmę, kad galėtumėte tiksliai suprasti, iš kur kyla matavimai?

Pateikite pavyzdį, kaip nustatėte ir išsprendėte konfliktuojančių pavyzdžių problemą realiame projekte.

Kaip save įvertinate?

Prieš dvi LLM versijų palyginimą, buvo nustatyta, kad eksperimento kodas šakoje yra, tačiau tiksli duomenų versija ir LoRA parametrai nėra nustatyti. Ką pasirinksi kaip pirmąjį padidėjimą artimiausioms dviem dienoms ir ko sąmoningai atsisakysi?

Ar šiuo metu vyksta pokalbiai didelėse technologijų įmonėse, kaip Yandex ar Alfa?

Kaip paprastai valdote duomenų ir modelių versijas tokiuose eksperimentuose?

Praktinė užduotis Koks artefaktų rinkinys leidžia sąžiningai atkurti dviejų LoRA paleidimų palyginimą? - Tik galutinė kokybės lentelė. - Commit su kodu ir galutinės metrikos ekrano nuotrauka. - Eksperimento kodas ir konfigūracijos failas. - Kodas, duomenų hash, pagrindinis modelis, LoRA konfigūracija, priklausomybės ir paleidimo komanda. - Tik nuoroda į Git šaką. - Kodas, LoRA parametrai, pagrindinio modelio versija ir priklausomybės.

Praktinė užduotis Naujos LLM vidutinė įvertinimas išaugo, tačiau redaktoriai skundžiasi dėl finansinių atsakymų. Kuris grafikas geriausiai palaikys sprendimą dėl leidimo? Vienas pagrindinis vidutinio įvertinimo rodiklis. Stulpeliai su visų temų vidutiniais įvertinimais. Skirtukai su barais pagal temas ir modelio versijas. Lentelė su vidutiniais įvertinimais pagal temas. Žodžių debesys iš naujų atsakymų. Pasiskirstymas pagal versijas ir temas su kiekvienos grupės dydžiu.