По каким критериям ты выбираешь, какой тест оставить для ручного тестирования, а какой автоматизировать?

Начните с анализа на основе пирамиды тестирования (Unit, Integration, End-to-End). Автоматизация эффективна на нижних уровнях (высокая скорость, меньшая хрупкость). E2E тесты автоматизируются выборочно, так как более медленные и хрупкие.

Критерии автоматизации:

• Частота выполнения: Тесты, которые выполняются часто (регрессия, смоук), выгодно автоматизировать для экономии времени и снижения риска ошибок из-за рутины.
• Стабильность функционала: Функционал, который не планируется кардинально менять в ближайшее время. Частые изменения в интерфейсе или логике могут потребовать постоянной переработки автотестов.
• Сложность и повторяемость: Сложные, монотонные последовательности действий, которые легко пропустить или выполнить некорректно вручную.
• Объем данных: Тесты, требующие проверки на большом наборе входных данных.
• Время выполнения: Операции, которые выполняются вручную длительное время.

Критерии оставления теста вручным:

• Исследовательское тестирование: Требует творческого подхода, интуиции и непредсказуемых сценариев. Автоматизировать сложно.
• Тестирование удобства использования (Usability): Оценка пользовательского опыта, восприятия интерфейса, которая субъективна и не формализуется легко.
• Тестирование внешнего вида (Look and Feel): Проверка пиксель-перфект верстки, цветовых схем, шрифтов. Автоматизация таких проверок часто хрупка и требует сложной логики.
• Проверка одноразового функционала: Функционал, который будет использоваться редко или является временным. Затраты на автоматизацию могут превысить выгоду от ее использования.
• Функционал с частыми изменениями: Если функционал постоянно дорабатывается и меняется, автоматизация может стать неэффективной из-за необходимости постоянной поддержки автотестов.
• Тесты, требующие подтверждения человеческого восприятия: Например, проверка качества изображений, видео, звука.

Принятие решения также зависит от имеющихся ресурсов (время, бюджет, квалификация команды).