Время от времени возникают ошибки, на которые требуется обратить пристальное внимание, так как они могут явно указать на то, что имеется какая-то серьезная проблема или же причина, из-за которой такая ошибка возникает, является причиной падения группы тестов в рамках тестового прогона. Например, тесты могут падать потому что веб-драйвер для Е2Е тестов не может стартовать, и это происходит для целого набора тестов. Такие ошибки хочется видеть в первую очередь и ТестОпс позволяет это делать при помощи категоризации ошибок.
Чтобы система могла среди падений выделить какое-то важное для вас, требуется указать как такую важность определить при падении. Это можно сделать либо по сообщению об ошибке, либо пр стек-трейсу падения.
Например, ваш тест не может выполниться из-за того, что веб-драйвер не может запустить браузер и падает со следующей ошибкой:
WebDriverException: chrome not reachable
Element not found {By.xpath: //a[@href='/eroshenkoam/allure-example']}
Expected: text 'Allure'
Page source: file:/Users/eroshenkoam/Developer/eroshenkoam/webdriver-coverage-example/build/reports/tests/1603973861960.0.html
Timeout: 4 s.
Мы можем использовать сообщение
WebDriverException: chrome not reachable
как красный флаг при анализе падений и выделить какие падения в прогоне. Для этого создадим в проекте категорию ошибок, а затем для нее создадим правило автоматизации.
Далее для категории нам потребуется задать правило для автоматического поиска таких ошибок. Это делается при помощи регулярного выражения (Java Flavour).
При условии правильности написания регулярного выражения, в следующих прогонах вы будете видеть, есть ли у вас проблемы на стороне фермы браузеров.
