1. Улучшение имеющегося функционала
1голос

Отображение сводной статистики статусов успешности тестов в ветвях дерева

[b]Что есть:[/b]
На текущий момент есть возможность отобразить тесты в виде иерархической структуры. Это очень удобно при большом количестве тестов (а оно очень часто действительно большое) - например, можно сгруппировать тесты по их !физическому" размещению - например, по коллекциям Postman'а.
[b]Чего не хватает:[/b]
Очень сложно оценить состояние некоторой группы тестов. Виджет "карта тестов" дает раскладку по общему количеству, есть и другие, но они тоже не помогают решить банальную проблему - за что хвататься в первую очередь?
Есть уже предложение задать для тестов приоритеты - да, было бы неплохо, но всё же это не совсем то.
Есть предложение использовать кастомные поля в виджетах - не в виде фильтра, а в виде доп. категории - но это требует существенной работы, особенно если попытаться поддерживать в виджете сразу несколько кастомных полей.
Но ведь иерархическое разделение по кастомным полям уже есть, не так ли?
[b]Что предлагается:[/b]
При отображении дерева тестов подсчитывать и отображать в виде фоновой гистограммы статистику по результатам последнего прогона теста. При этом делим на 4 группы:
- успешно - например, светло-светло-зеленым фоном)
- неуспешно и результат не разобран (нет резолюции) - скажем, сереньким - этакий "туман войны" ¯\_(ツ)_/¯
- неуспешно и найден баг в системе - условно желтым
- неуспешно и это проблема теста - условно красным
и ширина каждой подкраски пропорциональна количеству тестов в узле, включая вложенные (вы же это количество всё равно считаете)
[b]Что это даст:[/b]
После прогона будет сразу видно, какой функционал или какие коллекции/сьюты прошли беспроблемно, а где что-то сильно "пошло не так". Соответственно, можно сразу выбирать наиболее проблемные группы тестов. И в целом эффективность анализа прогона, на мой взгляд, повысится. Ну и общий контроль состояния тестов и работы над ними станет куда лучше. Например, можно понять, у кого из тестировщиков беда с тестами и отправить ему подмогу. Например.

нет комментариев