Machine Learning / AI

Quais métodos existem para interpretar a dependência de uma característica em relação ao alvo, incluindo modelos de caixa preta?

Middle — Senior

СБЕР

O que é ELECTRA e deteção de tokens substituídos?

Middle — Senior

GenStack

Яндекс

Quais são os problemas do BERT nas tarefas de geração de texto?

Como dividir corretamente em treino, validação e teste para NER de documentos?

# Formule e escreva a definição do que é roc auc. # Como se calcula o score roc auc? # Escreva uma função que calcula roc_auc_score de acordo com a definição escrita. # E para um número arbitrário de classes com uma ordem de prioridade dada? # O modelo funciona da seguinte forma # y_score[i] >= limiar -> y_pred[i] = 1 # y_score[i] < limiar -> y_pred[i] = 0 def test_roc_aur_score(): y_true = [0, 0, 0, 1, 0, 0] y_score = [0.2, 0.4, 0.31, 0.6, 0.3, 0.7] res_metric = roc_auc_score(y_true, y_score) assert res_metric == 0.8 y_true = [0, 1, 0, 0, 0, 1] y_score = [0.7, 0.6, 0.31, 0.31, 0.3, 0.2] res_metric = roc_auc_score(y_true, y_score) assert res_metric == 0.375 y_true = [0, 0, 0, 1, 0, 0] y_score = [0.2, 0.4, 0.31, 0.8, 0.3, 0.7] res_metric = roc_auc_score(y_true, y_score) assert res_metric == 1 y_true = [0, 0, 0, 0, 0, 0] y_score = [0.2, 0.4, 0.31, 0.8, 0.3, 0.7] res_metric = roc_auc_score(y_true, y_score) assert res_metric == 0 # Testes bônus para múltiplas classes y_true = [0, 1, 0, 0.5, 0, 1] y_score = [0.7, 0.6, 0.31, 0.31, 0.3, 0.2] res_metric = roc_auc_score(y_true, y_score) assert res_metric == 0. y_true = [0, 0.1, 0.2, 0.3, 0.4, 0.6] y_score = [0, 0.1, 0.2, 0.3, 0.4, 0.6] res_metric = roc_auc_score(y_true, y_score) assert res_metric == 1

Senior

ivi

Que métricas podem ser usadas para avaliar o NER em documentos?

O que é retenção de dados?

Descreva o projeto na [empresa]: problema de negócio, seu papel, como mediram o sucesso.

O que é a observabilidade de aplicações LLM (Langfuse, Arize, Phoenix)?

Middle — Senior

ВижнТех

VK

Projete um sistema para um cinema online: para cada filme, há vários cartazes, é necessário escolher o melhor cartaz para que as pessoas assistam mais conteúdo. Descreva um plano de solução e os dados necessários para o treinamento (pode ser sem ML).

Senior

ivi

Como fazer o LLM retornar um JSON rigoroso e validar a resposta?

Como concilias os estudos e o trabalho ao mesmo tempo?

Senior

Точка

Como lidar com erros de chamada de ferramenta no agente (repetir, fallback)?

O que é a API OpenAI Assistants e quais são as suas limitações?

Por que não se podem simplesmente somar as pontuações BM25 e as embeddings densas?

Calcular o valor total de receita para cada utilizador Encontrar a primeira e a última data de compra de cada utilizador

Middle

Норникель

Quais os métodos de pré-processamento de características utilizados e com que problemas eles enfrentam?

Fale sobre si em inglês: descreva brevemente as suas habilidades e experiência mais importantes.

Middle+

Andersen

O que é CV-leak e quais são as suas fontes?

Middle — Senior

Домклик

Tarefa prática Qual conjunto de artefatos permite reproduzir honestamente a comparação de duas execuções do LoRA? - Apenas a tabela final de qualidade. - Commit com código e captura de tela da métrica final. - Código e arquivo de configuração do experimento. - Código, hash dos dados, modelo base, configuração do LoRA, dependências e comando de execução. - Apenas link para o branch do Git. - Código, parâmetros do LoRA, versão do modelo base e dependências.