Machine Learning / AI

Ça ne vous dérange pas d'essayer de passer un entretien avec une IA?

Quel est le niveau de revenu minimum et confortable pour vous en roubles?

Quel est votre diplôme d'études supérieures et votre spécialisation?

Pourquoi envisagez-vous une nouvelle proposition maintenant?

Comment exactement BatchNorm utilise-t-il les statistiques stockées en mode `eval()` et pourquoi est-ce important pour la stabilité des résultats?

Comment visualiseriez-vous les écarts dans les évaluations thématiques pour comprendre leur impact sur l'ensemble?

Avez-vous des questions sur les conditions de collaboration?

Exercice pratique La vérification du LLM dans PyTorch donne des résultats différents lors de deux exécutions. Quelle solution est la plus mature? - Activer eval() et comparer à nouveau les résultats. - Augmenter la taille du jeu de test. - Répéter l'exécution et choisir le meilleur résultat. - Passer à TensorFlow sans analyser la cause. - Fixer la seed et considérer le problème résolu. - Vérifier eval(), no_grad(), seed, DataLoader et les opérations CUDA déterministes.

Racontez-nous comment vous avez trouvé le format de l'entretien : ce qui vous a plu et ce que vous aimeriez améliorer.

Comment vous évaluez-vous?

Exercice pratique L'IA a généré un code pour la décision concernant le lancement d'un nouveau LLM. Effectue une revue : modifie-le pour que l'éditeur puisse comparer la qualité des versions par segments thématiques, voir la dispersion des évaluations et remarquer le risque de dégradation sur un petit groupe de données. import matplotlib.pyplot as plt import pandas as pd scores = pd.read_csv('model_scores.csv') summary = scores.groupby('model_version')['score'].mean() plt.bar(summary.index, summary.values) plt.title('Qualité des modèles') plt.ylabel('Note moyenne') plt.show() print('Meilleure version :', summary.idxmax()) --- import matplotlib.pyplot as plt import pandas as pd scores = pd.read_csv('model_scores.csv') stats = ( scores.groupby(["topic", "model_version"])["score"] .agg(["mean", "std", "count"]) .reset_index() ) print(stats) for topic, group in scores.groupby("topic"): group.boxplot(column="score", by="model_version") plt.title(f"Thème : {topic}") plt.suptitle("") plt.ylabel("Note") plt.show() small_groups = stats[stats["count"] < 30] print("Petits groupes - conclusions peu fiables :") print(small_groups)

Donnez un exemple de comment vous avez identifié et résolu un problème d'exemples conflictuels dans un projet réel.

Êtes-vous prêt à envisager des projets à temps partiel et des emplois combinés?

Exercice pratique L'IA a généré un code pour décider du lancement d'un nouveau LLM. Effectue une revue : modifie-le pour que l'éditeur puisse comparer la qualité des versions par segments thématiques, voir la dispersion des évaluations et remarquer le risque de dégradation sur un petit groupe de données. import matplotlib.pyplot as plt import pandas as pd scores = pd.read_csv('model_scores.csv') summary = scores.groupby('model_version')['score'].mean() plt.bar(summary.index, summary.values) plt.title('Qualité des modèles') plt.ylabel('Note moyenne') plt.show() print('Meilleure version :', summary.idxmax())

Comment garantissez-vous l'origine des résultats de l'expérience pour pouvoir comprendre précisément d'où viennent les métriques?

La veille de la comparaison de deux versions de LLM, il a été découvert que le code de l'expérience dans la branche est présent, mais que la version exacte des données et les paramètres LoRA ne sont pas fixés. Que choisirais-tu comme premier incrément pour les deux prochains jours et à quoi serais-tu prêt à renoncer consciemment?

Y a-t-il des entretiens en cours dans de grandes entreprises technologiques, comme Yandex ou Alfa?

Comment gérez-vous généralement les versions des données et des modèles dans de telles expériences?

Exercice pratique Quel ensemble d'artefacts permet de reproduire honnêtement la comparaison de deux exécutions de LoRA? - Seulement le tableau final de qualité. - Commit avec le code et capture d'écran de la métrique finale. - Code et fichier de configuration de l'expérience. - Code, hash des données, modèle de base, configuration de LoRA, dépendances et commande de lancement. - Seulement le lien vers la branche Git. - Code, paramètres de LoRA, version du modèle de base et dépendances.

Quand serez-vous prêt à commencer le projet?