如何在* n *测试失败后停止MsTest测试执行

时间:2017-02-10 19:34:10

标签: unit-testing powershell mstest

我希望通过MS Test(从Windows控制台)运行单元测试,以便在失败的测试计数超过特定阈值时停止/终止测试执行。

对于我的用例,当某些百分比的测试已经失败时,没有必要继续运行测试。

我只能考虑创建一个新的控制台应用程序来包装mstest.exe执行,所以我可以实时解析标准输出, 并最终杀死这个过程,例如:

var pi = new ProcessStartInfo()
{
    FileName = MS_TEST,
    UseShellExecute = false,
    RedirectStandardOutput = true,
    Arguments = MS_TEST_ARGS
};
int passed = 0; int failed = 0;
using (var process = Process.Start(pi))
{
    while (!process.StandardOutput.EndOfStream)
    {
        string line = process.StandardOutput.ReadLine();
        if (line.Contains("Passed"))
            passed++;
        if (line.Contains("Failed"))
            failed++;
        if (failed >= THRESHOLD)
        {
            process.Kill();
            break;
        }
    }
}

有人能建议更好的方法吗?我不认为这是MsTest原生支持的。

PowerShell似乎是一个选项,但是stdout重定向并非易事。

更新

注意,我无法修改测试代码,我需要在不修改测试代码的情况下完成。

1 个答案:

答案 0 :(得分:2)

创建一个BaseTestClass,其中包含一个负责终止运行测试的进程的方法。

using System.Diagnostics;

namespace UnitTestProject1
{
    public class BaseTestClass
    {
        private readonly int _threshold = 1;
        private static int _failedTests;

        protected void IncrementFailedTests()
        {
            if (++_failedTests >= _threshold)
                Process.GetCurrentProcess().Kill();
        }
    }
}

您必须从BaseTestClass继承所有测试类并使用[TestCleanup]属性。当TestCleanup()类中定义的测试完成运行时,将评估DemoTests方法。在那个方法中,我们评估刚刚完成的测试的输出。如果失败,我们将终止负责运行测试的进程。

在以下示例中,我们定义了三个测试。第二个测试Test_Substracting_Operation()旨在故意失败,因此第三个测试将永远不会运行。

using Microsoft.VisualStudio.TestTools.UnitTesting;

namespace UnitTestProject1
{
    [TestClass]
    public class DemoTests : BaseTestClass
    {
        public TestContext TestContext { get; set; }

        [TestCleanup]
        public void TestCleanup()
        {
            if (TestContext.CurrentTestOutcome == UnitTestOutcome.Failed)
            {
                IncrementFailedTests();
            }
        }
        [TestMethod]
        public void Test_Adding_Operation()
        {
            // Arrange
            int x = 1;
            int y = 2;

            // Act
            int result = x + y;

            // Assert
            Assert.AreEqual(3, result);
        }

        [TestMethod]
        public void Test_Substracting_Operation()
        {
            // Arrange
            int x = 1;
            int y = 2;

            // Act
            int result = x - y;

            // Assert
            Assert.AreEqual(100, result);
        }

        [TestMethod]
        public void Test_Multiplication_Operation()
        {
            // Arrange
            int x = 1;
            int y = 2;

            // Act
            int result = x * y;

            // Assert
            Assert.AreEqual(2, result);
        }
    }
}