如何为Spark Streaming程序编写单元测试？

Question

我使用Spark Streaming相对较新。我一直在寻找为我的Spark应用程序编写单元测试的最佳方法，并且遇到了m.mean(axis=1)特征。

但是，我无法在我的测试套件中扩展此特性。

以下是与此问题相关的代码段：

TestSuiteBase

但是，我在运行sbt test时遇到了这个错误：

... 
import org.apache.spark.rdd.RDD 
import org.apache.spark.streaming._ 
import org.apache.spark.streaming.TestSuiteBase
... 
... 
class UnitTest extends BaseTest with TestSuiteBase
... 

此外，有没有更好的方法为Spark Streaming程序编写单元测试？

任何帮助将不胜感激。

提前致谢。

Answer 1

我将“ build.sbt”修改为包含以下内容：

libraryDependencies += "org.apache.spark" %% "spark-streaming" % "2.4.0" classifier "tests"

这将包括用于火花流的测试罐，其中包含TestSuiteBase