Формы из списка исключений не должны трактоваться как пропущенные тесты #770
Comments
|
@artbear что думаешь? |
|
Не согласен. Если тебе сильно нужно, сделай спец. настройку |
А для чего тогда исключения нужны? Мне исключение форм из проверок нужны для настройки тестирования конкретной конфигурации: забыть форму, насчет которой принято решение - не тестировать в данном проекте (т.к. не используется или невозможно протестировать, а доработка только для целей тестирования нецелесообразна, т.к. данная форма остается типовой). Например, когда в БП ведется включен режим учета ЗП "в другой программе", то формы зарплатных документов не надо проверять: они не будут открываться, этот функционал не будет дорабатываться. Но из-за текущего поведения эти проверки всегда будут светиться желтым и отвлекать от реально желтых ситуаций. Второй пример - документы из подсистемы для электронного документооборота с налоговыми органами (ЭДО). Если подсистема не используется они всегда светятся желтым, а это десяток документов и справочников + по 2-4 формы в каждом, это порядка 50 желтых тестовых случаев. Их в настоящий момент по крайней мере в обычных формах дымовыми тестами не проверить (сама форма документа не открывается, там все формы на формах обработок сделаны). Исключения будут во всех конфигурациях, а поэтому в текущей реализации дымовые тесты всегда будут желтыми, это не правильно, т.к. дезинформирует.
Себе и так сделал, потому что иначе пользоваться невозможно: ошибки исправляются, тесты проходят, а результат все равно всегда желтый - это не правильное поведение, т.к. невозможно по отчету в итоге понять, изменилось ли состояние после доработок в положительную сторону или нет. |
|
Да, я понимаю твои резоны и частично с ними согласен. |
|
Согласен с @kuntashov, и настройка скорее должна быть ОтображатьИсключенныеТестыКакПропущенные |
|
Скорее надо 2 списка, так как фактически надо не одному человеку так, а
другому иначе, а одни формы так, другие иначе. (ну или настройка на каждую
строку исключения)
С уважением,
Неумойчев Дмитрий
15 декабря 2017 г., 12:47 пользователь Nenashev Anatoliy <
notifications@github.com> написал:
… Согласен с @kuntashov <https://github.com/kuntashov>, и настройка скорее
должна быть ОтображатьИсключенныеТестыКакПропущенные
Т.е. дефолтным поведением должно быть, когда исключенные тесты НЕ
показываются, как пропущенные.
—
You are receiving this because you are subscribed to this thread.
Reply to this email directly, view it on GitHub
<#770 (comment)>,
or mute the thread
<https://github.com/notifications/unsubscribe-auth/AHGECVUeqVpqVcJsS0rFIDu9eRLkeG6jks5tAkBIgaJpZM4RCvmG>
.
|
Что имеете в виду под "два списка"?
Смысл фразы не понятен. Можете пояснить?
В каких случаях может потребоваться одни формы из исключений показывать желтым цветом, а другие - скрывать? Можете привести пример из вашей практики, когда такое нужно было? |
|
Я разрабатываю АРМ в рамках ЕРП. Соответственно, в разработку попадает сам
АРМ и пяток связанных форм выбора, подбора, контроля.
Все эти формы скорее всего не должны попадать в исключения, и к моменту
окончания разработки они должны будут стать зелёными. Но пока я их не
реализовал, они должны желтеть.
С другой стороны, в нашей славной ЕРП есть куча типовых форм, которые
упадут на дымовом тесте, и это меня устраивает. Они должны быть полностью
пропущены.
С уважением,
Неумойчев Дмитрий
15 декабря 2017 г., 13:39 пользователь Alexander Kuntashov <
notifications@github.com> написал:
… Скорее надо 2 списка
Что имеете в виду под "два списка"?
так как фактически надо не одному человеку так, а другому иначе
Смысл фразы не понятен. Можете пояснить?
одни формы так, другие иначе
В каких случаях может потребоваться одни формы из исключений показывать
желтым цветом, а другие - скрывать? Можете привести пример из вашей
практики, когда такое нужно было?
—
You are receiving this because you commented.
Reply to this email directly, view it on GitHub
<#770 (comment)>,
or mute the thread
<https://github.com/notifications/unsubscribe-auth/AHGECfgQsmYCORwc3A0G4pLzCYhzK8u0ks5tAkxZgaJpZM4RCvmG>
.
|
|
@Ndochp спасибо! Хороший кейс. |
В последних версиях дымовых тестов проверки форм, попадающих под исключения трактуются как пропущенные тесты (желтая полоса) и отображаются в браузере тестов (а при запуске из ком. строки попадают в отчет о тестировании).
Это очень не удобно: лишняя информация в интерактивном режиме, желтый статус теста при запуске на CI, хотя на самом деле я ЯВНО исключил проверку формы.
Предлагаю по умолчанию такое поведение отключить: проверки форм из исключений не должны отображаться в браузере тестов и не должны попадать в отчет о тестировании вообще, как будто их нет вовсе (на то и исключения).
Для тех, кому нужно видеть такие проверки пропущенными предлагаю добавить настройку
ТрактоватьИсключенныеТестыКакПропущенные(булево). По умолчанию (и в случае отсутствия в файле) - false. Т.е. тесты в браузере не отображаются. Если значение true, то поведение будет как сейчас.The text was updated successfully, but these errors were encountered: