Зачем бизнесу автоматические тесты
Тесты — это не развлечение для программистов, а страховка для бизнеса. Каждая новая функция может сломать старую, а ручная проверка всего приложения перед каждым релизом дорога и ненадёжна: тестировщик устаёт, пропускает редкие сценарии, а к пятнице после обеда внимание ниже. Автоматические тесты проверяют важное за минуты, одинаково каждый раз.
Но тестов можно написать слишком много и не в тех местах: они замедляют разработку, ломаются от любых правок и ничего не защищают. Поэтому важна стратегия: что тестировать, на каком уровне и сколько.
Пирамида тестирования простыми словами
| Уровень | Что проверяет | Скорость | Количество | |---|---|---|---| | Модульные тесты | Отдельные функции и правила: расчёт цены, скидки, валидация | Очень быстро | Много | | Интеграционные тесты | Взаимодействие частей: код и база, код и внешний API (с заглушкой) | Средне | Умеренно | | Сквозные тесты (E2E) | Путь пользователя в браузере: поиск, корзина, оплата | Медленно | Мало, только критичные пути | | Ручное исследовательское тестирование | Всё, что не предусмотрели сценарии: удобство, странные комбинации | Зависит от человека | Перед крупными релизами |
Чем выше уровень, тем он дороже и хрупче. Поэтому основание пирамиды — быстрые модульные тесты на бизнес-правила, а сквозные тесты ограничиваются несколькими сценариями, от которых зависит выручка.
С чего начать, если тестов нет
Не пытайтесь покрыть всё. Начните с вопроса: «какие 5–10 сценариев, если сломаются, будут стоить нам денег или репутации?» Обычно это:
- Регистрация и вход.
- Оформление и оплата заказа.
- Расчёт цены, скидок и налогов.
- Получение и обработка заявки.
- Права доступа: пользователь не видит чужие данные.
- Критичные интеграции: платёжная система, учётная система.
Сначала напишите тесты на эти сценарии, затем добавляйте новые вместе с каждым найденным багом: нашли ошибку — сначала тест, который её воспроизводит, потом исправление. Так набор растёт там, где проект реально ломается.
Что считать хорошим тестом
- Проверяет поведение, а не реализацию. Если тест ломается при каждом рефакторинге без изменения результата, он вреден.
- Независим. Не зависит от порядка запуска и результатов других тестов.
- Детерминирован. Не использует случайные данные и текущее время без управления ими. «Мигающие» тесты, которые то проходят, то падают, разрушают доверие к набору.
- Понятен. По названию ясно, что проверяется и почему это важно.
- Быстр. Модульные тесты выполняются за секунды, иначе их перестанут запускать.
Тестовые данные и окружения
Тестовая среда должна быть похожа на боевую, но не содержать реальных персональных данных. Используйте синтетические данные или обезличенные копии, обсудив порядок обезличивания с юристом. Для внешних сервисов применяйте песочницы провайдера или заглушки; платёжные и логистические интеграции проверяйте в тестовом режиме. Миграции базы данных пробуйте на копии, а не на рабочей базе.
Что нельзя автоматизировать целиком
Автотесты хорошо проверяют ожидаемое, но плохо находят неожиданное. Дополняйте их ручным исследовательским тестированием перед крупными релизами: пусть человек пройдёт путь клиента, попробует неудобные сценарии, плохую связь, мобильные устройства, нестандартные данные. Отдельно проверяйте удобство, доступность и визуальные детали: автоматизация здесь помогает ограниченно.
Нагрузка и безопасность тоже тесты
Помимо функциональных проверок, полезны нагрузочное тестирование перед пиками, проверка зависимостей на известные уязвимости и базовое сканирование безопасности. Их можно запускать по расписанию или перед крупными релизами, а не при каждом коммите.
Как встроить тесты в процесс
- Запускайте быстрые тесты автоматически на каждый запрос на слияние. Красный результат блокирует слияние.
- Запускайте медленные сквозные тесты на тестовой среде после выкладки и перед релизом.
- Смотрите на тенденции: сколько тестов падает, сколько «мигает», сколько багов проходит в продакшн.
- Не гонитесь за процентом покрытия как за целью. Он полезен как ориентир для поиска непокрытых областей, но 90% покрытия бессмысленных проверок хуже 50% проверок критичных правил.
- Выделяйте время на поддержку тестов: это часть разработки, а не дополнение.
Условный пример расчёта выгоды
Допустим, ручная проверка основных сценариев перед релизом занимает у тестировщика четыре часа, а релизов в месяц восемь. Это 32 часа ручной проверки. Автоматизация этих сценариев требует времени на старте, но затем сокращает регулярную проверку до разбора результатов и выборочного ручного теста. Цифры условные, смысл в том, что стоимость тестов окупается частотой релизов и ценой ошибки.
Роли и ответственность
Качество — не зона одного человека. Разработчик отвечает за тесты на код, который он пишет: модульные и часть интеграционных. Тестировщик или аналитик помогает формулировать критерии приёмки, придумывает сложные случаи и проводит исследовательское тестирование. Представитель бизнеса определяет, какие сценарии критичны, и участвует в приёмке. Руководитель команды следит, чтобы на тесты выделялось время и красный конвейер не игнорировался. Договоритесь о понятном определении готовности: задача не закрыта, пока нет проверки критичной логики, описания изменения и просмотра другим человеком. Эта простая договорённость сильнее влияет на качество, чем любой инструмент, потому что превращает тестирование из желательного дополнения в обязательную часть работы.
Если вы заказываете разработку у подрядчика, включите в договор и план работ тесты как отдельный результат: набор автоматических проверок критичных сценариев, инструкцию по запуску и описание того, что покрыто. Тогда после сдачи проекта вы сможете менять код дальше, не боясь незаметно сломать работающие функции, а следующий исполнитель быстрее разберётся в системе.
Когда ресурсов мало, начните с одного сквозного теста самого дорогого сценария, например оплаты заказа, и одного набора модульных тестов на расчёт цены. Даже этот скромный старт ловит значительную долю самых болезненных регрессий и показывает команде реальную пользу автоматизации, после чего расширять набор становится проще и легче объяснить бизнесу.
Итог
Хорошая стратегия тестирования строится от рисков бизнеса: сначала самые дорогие ошибки, затем остальное. Много быстрых модульных тестов на бизнес-правила, немного интеграционных и сквозных на критичные пути, ручное исследование перед крупными изменениями и встроенный запуск в конвейер выкладки.
Если у вас продукт растёт, а релизы становятся страшными, напишите нам: определим критичные сценарии, соберём первый набор автотестов и встроим его в процесс выкладки.
Frog Studios помогает командам выстроить тестирование и релизный процесс.