Hoe kun je een instabiele test opnieuw uitvoeren om valse fouten te verwijderen?

Om een onstabiele test (flaky test) opnieuw uit te voeren, wordt vaak het retry-mechanisme gebruikt. Dit kan worden geïmplementeerd op testframework- of CI/CD-niveau:

• In JUnit met behulp van regels of annotaties, bijvoorbeeld @Retry.
• In TestNG is er ingebouwde ondersteuning voor herhaalpogingen via IRetryAnalyzer.
• In CI/CD kan je de herstart van gefaalde tests configureren.

Voorbeeld in TestNG:

public class RetryAnalyzer implements IRetryAnalyzer {
    private int count = 0;
    private static final int maxRetry = 3;

    @Override
    public boolean retry(ITestResult result) {
        if (count < maxRetry) {
            count++;
            return true;
        }
        return false;
    }
}

@Test(retryAnalyzer = RetryAnalyzer.class)
public void unstableTest() {
    // test die soms faalt
}

Deze aanpak helpt om de impact van valse fouten te verminderen, maar het is belangrijk om gelijktijdig de oorzaken van instabiliteit te zoeken en te elimineren.