Co oznacza stwierdzenie, że testy wykazują obecność defektów, a nie ich brak?

Testowanie jest przeprowadzane w celu znalezienia defektów. Proces wykonywania testów i analizy wyników ma na celu wykrycie przypadków, gdy zachowanie systemu różni się od oczekiwanego (specyfikacji).

Jednak nawet pomyślnie przeprowadzone testy nie dają 100% gwarancji braku defektów. Zawsze istnieje prawdopodobieństwo, że:

• Pokrycie testami jest niepełne.
• Nie przetestowano wszystkich możliwych scenariuszy użycia.
• Defekty ujawniają się tylko w określonych rzadkich warunkach lub kombinacjach czynników.
• Sama specyfikacja zawiera niedokładności lub jest niekompletna.

W związku z tym, pomyślny test pokazuje, że system zachowuje się poprawnie w przetestowanych scenariuszach, ale nie dowodzi braku defektów w niebadanych obszarach. Testowanie to poszukiwanie defektów, a jego sukces mierzony jest liczbą znalezionych i naprawionych defektów, a nie ich całkowitym brakiem.