Machine Learning / AI

Няма нищо против да опитате да преминете интервю с ИИ?

Какво е минималното и комфортно ниво на доход за вас в рубли?

Какво е вашето висше образование и специалност?

Защо сега разглеждате ново предложение?

Как точно BatchNorm използва запазените статистики в режим `eval()` и защо това е важно за стабилността на резултатите?

Как бихте визуализирали изключенията в тематичните оценки, за да разберете колко влияят на цялостната картина?

Имаш ли въпроси относно условията за сътрудничество?

Практическо задание Проверката на LLM в PyTorch дава различни резултати при две изпълнения. Кое решение е по-зряло? - Включете eval() и сравнете резултатите отново. - Увеличете размера на тестовия набор. - Повторете изпълнението и изберете най-добрия резултат. - Превключете към TensorFlow без анализ на причината. - Зафиксирйте seed и приемете проблема за решен. - Проверете eval(), no_grad(), seed, DataLoader и детерминирани CUDA операции.

Разкажете ни как ви се стори форматът на интервюто: какво ви хареса и какво бихте искали да подобрите?

Практическо задание Изкуственият интелект генерира код за решението относно пускането на нов LLM. Направете преглед: променете го така, че редакторът да може да сравнява качеството на версиите по тематични сегменти, да вижда разпръснатостта на оценките и да забележи риска от влошаване в малка група данни. import matplotlib.pyplot as plt import pandas as pd scores = pd.read_csv('model_scores.csv') summary = scores.groupby('model_version')['score'].mean() plt.bar(summary.index, summary.values) plt.title('Качество на моделите') plt.ylabel('Средна оценка') plt.show() print('Най-добра версия:', summary.idxmax()) --- import matplotlib.pyplot as plt import pandas as pd scores = pd.read_csv('model_scores.csv') stats = ( scores.groupby(["topic", "model_version"])["score"] .agg(["mean", "std", "count"]) .reset_index() ) print(stats) for topic, group in scores.groupby("topic"): group.boxplot(column="score", by="model_version") plt.title(f"Тема: {topic}") plt.suptitle("") plt.ylabel("Оценка") plt.show() small_groups = stats[stats["count"] < 30] print("Малки групи - изводите не са надеждни:") print(small_groups)

Практическо задание Изкуственият интелект генерира код за вземане на решение относно пускането на нов LLM. Направете преглед: модифицирайте го така, че редакторът да може да сравнява качеството на версиите по тематични сегменти, да вижда разпръснатостта на оценките и да забележи риска от влошаване на малка група данни. import matplotlib.pyplot as plt import pandas as pd scores = pd.read_csv('model_scores.csv') summary = scores.groupby('model_version')['score'].mean() plt.bar(summary.index, summary.values) plt.title('Качество на моделите') plt.ylabel('Средна оценка') plt.show() print('Най-добра версия:', summary.idxmax())

Дайте пример как сте идентифицирали и решили проблема с конфликтуващи примери в реален проект.

Как осигурявате произхода на резултатите от експеримента, за да можете точно да разберете откъде идват метриките?

Готови ли сте да разглеждате проекти на частична заетост и съчетания?

На какъв грейд се оценявате?

Един ден преди сравняването на две версии на LLM, беше установено, че кодът на експеримента в клона съществува, но точната версия на данните и параметрите LoRA не са фиксирани. Какво ще избереш като първи инкремент за следващите два дни и на какво съзнателно ще се откажеш?

Обикновено как управлявате версиите на данните и моделите в такива експерименти?

Има ли текущи интервюта в големи технологични компании като Yandex или Alfa?

Практическо задание Какъв набор от артефакти позволява честно възпроизвеждане на сравнение на две изпълнения на LoRA? - Само крайната таблица с качество. - Commit с код и скрийншот на крайната метрика. - Код и файл с конфигурацията на експеримента. - Код, хеш на данните, базов модел, конфигурация на LoRA, зависимости и команда за стартиране. - Само линк към клон на Git. - Код, параметри на LoRA, версия на базовия модел и зависимости.

Практическо задание Средната оценка на новата LLM се е увеличила, но редакторите се оплакват от финансовите отговори. Кой график ще подкрепи най-добре решението за пускане? Един основен показател за средната оценка. Колони с средната оценка на всички теми. Кутии с мустаци по теми и версии на модела. Таблица с средните оценки по теми. Облако от думи от новите отговори. Разпределения на оценките по версии и теми с размера на всяка група.