Когда хватит тестировать? Когда пора остановиться? Когда я должен завершить тестирование? Это одни из самых философских и экзистенциальных вопросов, которые задает себе каждый тестировщик, а также он регулярно слышит этот вопрос от своих коллег, менеджеров и других заинтересованных лиц: а тестирование завершено? Конечно, ответ на этот вопрос зачастую определяется целью тестирования и ожидаемым результатом. А результат тестирования может быть различный: это не только успешный и не успешный, но и тот факт, что тестирование требует продолжения.
О чем не стоит забывать
В этой статье я хочу описать основные факторы, которые помогут найти максимально верный ответ на наш вопрос: когда тестировать достаточно. Вначале давайте вспомним, что:
- Несмотря на то внутренний ли мы продукт тестируем или внешний, мы никогда не пренебрегаем качеством.
- Тестирование никогда не бывает полным, это следует из одного из основных принципов тестирования: исчерпывающее тестирование невозможно.
- Чем дольше мы тестируем, тем больше дефектов мы находим, так как любой продукт содержит неограниченное число дефектов.
- Мы не можем гарантировать, что продукт не содержит ошибок.
ВАЖНО: Все используемые пороговые значения, используемых метрик, сами метрики, используемые модели должны быть согласованы и зафиксированы с командой, менеджерами.
Тестировать достаточно?
В этой схеме я собрала все основные факторы, конечно, она не полная и будет со временем дополняться и изменяться:
Scrum and Kanban
В Скраме есть такое понятие как критерий готовности (Defenition of Done), в Канбане- формальные политики (Explicit Policies), рассмотренные на схеме факторы помогут их сформировать. Не стоит забывать, что как критерии готовности так и формальные политики должны быть согласованы с заинтересованными лицами, быть выполнимыми и соблюдаться всеми членами команды, что позволит существенно уменьшить количество дефектов в продакшене.
MindMaps
Ментальная карта доступна на русском и in English.