Às vezes acontece que há algo errado com a infraestrutura, um glitch temporário, e o teste falha, por isso os reexecutamos. Como você lida com isso?

O problema de falhas temporárias na infraestrutura, que causam falhas nos testes, é uma situação comum. Para trabalhar com isso de forma eficaz, aplicam-se várias abordagens:

1. Repetição (reexecução do teste) — repetir automaticamente o teste em caso de falha, para excluir falhas falsas devido a glitches temporários.
2. Identificação de testes instáveis — analisamos quais testes falham frequentemente devido à infraestrutura e os marcamos para atenção especial.
3. Registro e monitoramento — coletamos logs e métricas para entender as causas das falhas.
4. Isolamento do ambiente de teste — minimizamos a influência de fatores externos, usando, por exemplo, containers ou máquinas virtuais.
5. Melhoria da infraestrutura — após análise, eliminamos as causas raízes das falhas.

Exemplo de reexecução em Python usando pytest e o plugin flaky:

import pytest

@pytest.mark.flaky(reruns=3, reruns_delay=2)
def test_example():
    assert some_unstable_operation()

Essa abordagem ajuda a aumentar a estabilidade das previsões de teste e reduzir o ruído causado por problemas temporários na infraestrutura.