O que são as métricas de guardrail?

As métricas de guardrail são métricas utilizadas para monitorizar e controlar a qualidade de modelos de aprendizagem automática ou experimentos, de modo a prevenir a degradação do desempenho ou efeitos indesejados.

A sua função é servir como uma "barreira" (guardrail), ou seja, alertar se o modelo começar a funcionar pior do que o esperado ou se o experimento levar a consequências negativas.

Exemplos de métricas de guardrail:

• Métricas de qualidade do modelo (precisão, F1, AUC), que não devem cair abaixo de um determinado limiar.
• Métricas de estabilidade (por exemplo, distribuição de previsões), para identificar deriva de dados.
• Métricas de efeitos comerciais (por exemplo, conversão, retenção), que mostram o impacto do modelo em indicadores reais.

Em testes A/B, as métricas de guardrail ajudam a garantir que a nova versão do modelo não prejudique aspetos críticos, mesmo que a métrica principal melhore.

Assim, as métricas de guardrail são uma ferramenta para a implementação e operação seguras de modelos, minimizando riscos.