Странная работа метода t.WithNewStep, t.Step

[anton-ryabkov]

Добрый день

Сегодня попробовал использовать ваш проект для написания unit тестов, в результате проб возник следующий вопрос: если я в тесте делаю Step (через WithNewStep) и в переданной функции тест фейлится (require не проходит), то в allure отчете все равно данный шаг помечается как успешный. Пример кода, и отчета прилагаю:

type SomeSuite struct {
	suite.Suite
}

func (s *SomeSuite) TestSome(t provider.T) {
	t.WithNewStep("Step 1", func(sCtx provider.StepCtx) {
		require.Equal(t, 2, 2)
	})
	t.WithNewStep("Шаг 2", func(sCtx provider.StepCtx) {
		require.Equal(t, 2, 3)
	})
	t.WithNewStep("Шаг 3", func(sCtx provider.StepCtx) {
		require.Equal(t, 2, 2)
	})

}

func TestSkipDemo(t *testing.T) {
	suite.RunSuite(t, new(SomeSuite))
}

Аналогично если делать t.Step.

133a9d3f-db0d-11ec-9001-bce92f7d8cfc-result.zip

Подскажите, это ожидаемое поведение, или же нет?

[koodeex]

это ожидаемое, да

в интерфейсе StepCtx есть методы Require() и Assert() для отображения состояния шагов рекомендуется использование ассертов оттуда (эти ассерты так же будут отображены в отчете)

type SomeSuite struct {
	suite.Suite
}

func (s *SomeSuite) TestSome(t provider.T) {
	t.WithNewStep("Step 1", func(sCtx provider.StepCtx) {
		sCtx.Require().Equal(2, 2)
	})
	t.WithNewStep("Шаг 2", func(sCtx provider.StepCtx) {
		sCtx.Require().Equal(2, 3)
	})
	t.WithNewStep("Шаг 3", func(sCtx provider.StepCtx) {
		sCtx.Require().Equal(2, 2)
	})

}

func TestSkipDemo(t *testing.T) {
	suite.RunSuite(t, new(SomeSuite))
}

Альтернативно, Вы можете попробовать прокидывать вместо t в ассерты интерфейс provider.StepCtx

type SomeSuite struct {
	suite.Suite
}

func (s *SomeSuite) TestSome(t provider.T) {
	t.WithNewStep("Step 1", func(sCtx provider.StepCtx) {
		require.Equal(sCtx, 2, 2)
	})
	t.WithNewStep("Шаг 2", func(sCtx provider.StepCtx) {
		require.Equal(sCtx, 2, 2)
	})
	t.WithNewStep("Шаг 3", func(sCtx provider.StepCtx) {
		require.Equal(sCtx, 2, 2)
	})

}

func TestSkipDemo(t *testing.T) {
	suite.RunSuite(t, new(SomeSuite))
}

Это работает так, потому что в testify используется интерфейс TestingT, который реализует как provider.StepCtx, так и provider.T

[koodeex]

@anton-ryabkov . подскажите, смог ли я ответить на Ваш вопрос?

[anton-ryabkov]

Антон, добрый день.
Да, спасибо. Это то что надо.
Перевел тест на использование require.Equal(sCtx, 2, 3) и теперь отчет формируется правильно 👍