В статье Джеймса Баха про исследовательское тестирование на странице 6 говорится: исследовательское тестирование невозможно без эвристик, как совокупности подходов, направляющих, облегчающих решение различных задач. Для формализации, визуализации и лучшего запоминания эвристик существуют различные подходы (этим еще Лев Толстой занимался, разрабатывая различные способы запоминания и идентификации данных). Один из них — это описание эвристики в виде мнемоники. В тестировании чаще всего используется именно эта пара: эвристика/мнемоника. У Дж.Баха и М. Болтона в блогах и твиттерах часто обсуждается вопрос: каждая ли мнемоника является эвристикой и соответственно наоборот (также такой вопрос поднимался в клубе Ministry of testing). Большая часть эвристик и соответствующих им мнемоник пришла к нам из англоговорящих стран, поэтому ассоциации, которые они должны вызывать не всегда понятны в нашем контексте. Эвристики учат нас думать в верном направлении, приоритезировать тесты, вести диалог с приложением, делать выводы (что я узнал о приложении) и после такого анализа выбирать следующий тест.
Сейчас мнемоничных эвристик в тестировании очень много, постоянно создаются новые, придумываются новые способы их запоминания. Есть мнемоники для каждого этапа/типа/ виде тестирования: начиная от создания тестовой стратегии и заканчивая постановкой багов и сбором метрик, для мобильных приложений и тестирования API и т.д, есть эвристики как для действий теста так и для оракулов и т.д. В этом посте я хотела бы обозначить некоторые из них и привести ссылки на ресурсы, где их превеликое множество.
Test Heuristics Cheat Sheet from Elisabeth Hendrickson, James Lyndsay and Dale Emery
HTSM (Heuristic Test Strategy Model) от Дж.Баха — это набор паттернов для создания тестовой стратегии. MindMap смотрим тут. Также стратегия была развита в работе Dan Ashby
RCRCRC от Karen N. Johnson, как мы ее используем я писала в первой своей статье.
Список мнемоник, подготовленный Sneha Bhat
Список мнемоник от qualityperspectives
Список мнемоник от Marina Kedemo
И еще один список
Тестовый туры от James Whittaker описанные в книге Exploratory Software Testing: Tips, tricks, tours and techniques to guide test design. О самих турах кратко можно посмотреть тут, вольный перевод книги от Ольги Киселевой.
И отличный чит-лист для запоминания/работы с эвристическими мнемониками от Santhosh Tuppad
Наш семинар «Эвристики и мнемоники в тестировании» (Первая встреча нашего клуба качества)
Некоторое время назад (21.05.18) в нашем отделе клубе качества был проведен семинар, посвященный как раз рассматриваемой теме.
Подготовка
Семинар проходил в формате круглого стола с предварительной подготовкой участников. В чем же она заключалась:
- Выбрать одну эвристику, используемую в тестировании
- Разработать карточку применения эвристики используя подход 5W2H
- Распечатать карточки применения эвристики каждому участнику семинара.
В качестве примера карточки был предоставлен такой шаблон (не являлся обязательным):
| Эвристика | RCRCRC. Автор: Карен Джонсон (Karen Johnson) | |
| WHO | КТО | Могут использовать все участники продуктовой команды |
| WHAT | Что | Эвристика позволяющая составить стратегию и план регрессионного тестирования |
| WHEN | Когда | Эвристику можно использовать при регрессионном тестировании , а также для функционального тестирования новой сборки |
| WHERE | Где |
|
| WHY | Почему | Позволяет сфокусироваться на главном |
| HOW | Как | Как применять эвристику см тут и тут
PS: в вашей карточки пункт должен быть наполнен конкретными данными |
Сам семинар
Как я уже писала, семинар проходил в формате круглого стола, каждый из участников делился подготовленной раздаткой и затем проводил небольшую презентацию выбранной эвристики. После чего всеми участниками задавались вопросы, рассматривались особенности применения техники на конкретных проектах, делались выводы о лучшем способе ее использования. Семинар прошел очень позитивно и продуктивно, все ребята хорошо подготовились. Каждый узнал для себя что-то новое, что можно сразу применять в своей работе. Самое интересное, что благодаря заранее подготовленной раздатке, у каждого участника на руках осталось небольшое пособие с эвристиками.
Примеры подготовленных карточек: HICCUPPS(F), RIMGEA, COP FLUNG GUN