运行功能测试任务的任何机制都不会在测试失败时使发布部署失败

时间:2017-03-02 12:44:56

标签: tfs

在XAML和早期版本的构建中,我们已经在默认模板中构建了一个标志,如果失败的测试失败,则发出警告。

在使用运行功能测试任务的发布定义中的Release Management 2015中,我没有看到表明失败的测试不应该在发布中失败的方法。 我忽略了什么吗?一个标志,一个参数,是我没有意识到我可以在测试设置文件中设置的东西吗?

如果任务失败,那么任务的“Continue on error”标志仍然会导致该环境的发布部署失败,如果测试失败,它将会失败。除非我错了,但我认为我是正确的,因为我测试了那个场景。 TFS 2015 Update 3。

我怀疑的情况并不罕见,我在部署到新环境时运行了几组不同的测试。例如:第1组是冒烟BVT,如果它们失败,我希望部署失败。这很好。但是设置2我添加一个单独的任务来运行那组功能​​测试,但它们是回归测试,我不想因为其中一个失败而导致部署失败。

最糟糕的情况我将修改任务并使用我想要的逻辑进行自定义任务但是我宁愿不必继续维护,如果有一种方法我缺少标记任务失败不部署失败。

1 个答案:

答案 0 :(得分:1)

构建和发布任务可以在每个任务的“控制选项”参数中选择错误时继续。在构建定义中,如果具有此选项集的任务失败,则会导致构建部分成功的结果。发行版定义中也提供了相同的行为。如果任务失败,则整体发布结果将显示为"发布部分成功"。

  

默认情况下,部分成功的版本不会自动发布   触发释放到后续环境,即使此行为   在环境部署选项中指定。然而,一个新的   可以在指示发布的每个发布环境中设置选项   管理当触发释放到后续环境时   以前的版本部分成功。

enter image description here

有关详细信息,请参阅Trigger on partially successful deployments

这是您遇到的最简单的方式。否则,您可能必须修改任务并使用您提到的逻辑进行自定义任务。但是,此功能在TFS2015 update3上不可用,您可能必须更新到TFS2017。请参阅相关的Release Note