Azure Test Plans

Azure Test Plans — это облачный сервис управления тестированием, входящий в состав платформы Azure DevOps (ранее Visual Studio Team Services, VSTS), предоставляемой корпорацией Microsoft. Сервис предназначен для планирования, организации, выполнения и отслеживания ручного и исследовательского тестирования программного обеспечения, а также для сбора данных об ошибках и обратной связи. Azure Test Plans интегрирован с другими компонентами Azure DevOps, такими как Azure Repos (система контроля версий), Azure Pipelines (непрерывная интеграция и доставка) и Azure Boards (управление проектами и задачами), что позволяет встроить процессы тестирования в общий жизненный цикл разработки ПО.

История

Сервис был запущен в 2019 году как часть ребрендинга и расширения функциональности платформы Azure DevOps, которая пришла на смену Visual Studio Team Services. Ранее инструменты для управления тестированием были доступны в составе Team Foundation Server (TFS) и VSTS, но выделение их в отдельный продукт Azure Test Plans позволило предложить более специализированные возможности для команд тестировщиков и QA-инженеров. С момента запуска сервис регулярно обновляется, получая новые функции, такие как улучшенная интеграция с исследовательским тестированием, поддержка параметризованных тестов и расширенные возможности аналитики.

Основные возможности

Azure Test Plans предоставляет набор инструментов для различных аспектов тестирования, ориентированных в первую очередь на ручное и исследовательское тестирование, а не на автоматизацию (хотя интеграция с автоматизированными тестами также поддерживается).

Планирование тестирования

Сервис позволяет создавать тестовые планы, которые представляют собой иерархические структуры, объединяющие тестовые наборы и тестовые случаи. Тестовые планы обычно привязываются к конкретным итерациям или спринтам разработки. В рамках плана можно:

• Определять цели и объём тестирования.
• Назначать тестовые случаи конкретным тестировщикам.
• Устанавливать приоритеты и статусы выполнения.

Тестовые случаи

Тестовые случаи (test cases) — это детализированные сценарии проверки, которые описывают шаги, ожидаемые результаты и предусловия. В Azure Test Plans тестовые случаи являются рабочими элементами (work items), что позволяет связывать их с требованиями, пользовательскими историями и дефектами в Azure Boards. Каждый тестовый случай может содержать:

• Пошаговые инструкции.
• Параметры для выполнения одного и того же сценария с разными данными.
• Вложения (скриншоты, файлы, логи).
• Ссылки на связанные элементы (например, на баги).

Выполнение тестов

Тестировщики могут выполнять тестовые случаи непосредственно в веб-интерфейсе Azure Test Plans. В процессе выполнения они отмечают каждый шаг как пройденный, проваленный или пропущенный, а также фиксируют результаты. При обнаружении ошибки можно мгновенно создать баг (bug) в Azure Boards, который автоматически свяжется с тестовым случаем. Сервис поддерживает:

• Ручное тестирование с пошаговым выполнением.
• Исследовательское тестирование (Exploratory Testing) — свободное выполнение сценариев без жёсткой привязки к заранее написанным шагам, с возможностью записи действий, создания скриншотов и заметок.
• Тестирование на основе данных (Data-driven testing) — выполнение одного тестового случая с различными наборами входных данных.

Отслеживание и аналитика

Azure Test Plans предоставляет инструменты для мониторинга прогресса тестирования и качества продукта. Основные метрики включают:

• Процент выполнения тестов (пройдено, провалено, не выполнено).
• Количество активных, исправленных и закрытых багов.
• Покрытие требований тестовыми случаями.
• Отчёты по результатам тестирования за определённые периоды (например, по спринтам или релизам).

Данные визуализируются в виде диаграмм и виджетов, которые можно добавлять на панели мониторинга Azure DevOps.

Интеграция с автоматизацией

Хотя Azure Test Plans ориентирован на ручное тестирование, он поддерживает интеграцию с автоматизированными тестами. Автоматизированные тесты, созданные в Azure Pipelines (например, с использованием Selenium, Appium или MSTest), могут быть связаны с тестовыми случаями. Это позволяет отслеживать результаты автоматического выполнения в том же интерфейсе, что и ручные тесты, а также получать единую картину прохождения тестирования.

Применение

Azure Test Plans используется в организациях, которые применяют методологии Agile, Scrum или Waterfall, для управления качеством программного обеспечения. Сервис особенно полезен для:

• Команд, практикующих ручное тестирование (например, приёмочное, регрессионное, интеграционное).
• Проектов, где требуется строгое отслеживание соответствия тестов требованиям (traceability).
• Сценариев, в которых необходимо быстро фиксировать и воспроизводить дефекты, найденные в ходе исследовательского тестирования.
• Компаний, уже использующих Azure DevOps для управления проектами и разработкой, так как интеграция между компонентами платформы упрощает процессы.

Ограничения

Несмотря на широкие возможности, Azure Test Plans имеет ряд ограничений:

• Не является инструментом для автоматизации тестирования в полном смысле; для автоматизации требуется использование Azure Pipelines и сторонних фреймворков.
• Функциональность для управления тестовыми данными и окружениями ограничена по сравнению со специализированными решениями (например, Tricentis Tosca или Micro Focus UFT).
• Для небольших команд или проектов с простыми требованиями к тестированию может быть избыточным и сложным в настройке.
• Для использования всех функций требуется лицензия на Azure Test Plans (входит в состав Azure DevOps Server или Azure DevOps Services с соответствующей подпиской).

Лицензирование и доступность

Azure Test Plans доступен как часть Azure DevOps Services (облачная версия) и Azure DevOps Server (локальная версия). Для работы с сервисом необходима лицензия «Test Plans» для каждого пользователя, который будет создавать и выполнять тестовые случаи. Пользователи с базовой лицензией Azure DevOps (Stakeholder) имеют ограниченный доступ: они могут просматривать тестовые планы и создавать баги, но не могут создавать или выполнять тестовые случаи. Сервис поддерживается на всех основных платформах через веб-интерфейс, а также имеет интеграцию с клиентскими приложениями, такими как Visual Studio Test Professional.

Критика

Некоторые пользователи отмечают, что Azure Test Plans уступает по удобству интерфейса и гибкости специализированным инструментам управления тестированием, таким как TestRail или Zephyr. Критикуется также недостаточная поддержка автоматизированного тестирования и сложность настройки отчётов. Однако в контексте глубокой интеграции с Azure DevOps и другими продуктами Microsoft (например, Azure Boards и Azure Pipelines) сервис остаётся востребованным решением для команд, уже работающих в экосистеме Microsoft.

Источники

• Официальная документация Microsoft по Azure Test Plans.
• Microsoft Learn: «What is Azure Test Plans?».
• Azure DevOps Release Notes (2019–2024).
• Статьи и обзоры на порталах TechTarget, Stack Overflow и Habr.