Question

我有一项任务是每天创建群集报告。我能够通过Scala代码读取每个作业的作业ID和状态。但是我无法以每种日期的下拉格式存储数据帧的输出。

离

matrixmul(
    # outputs
    c_gpu, 
    # inputs
    a_gpu, b_gpu,
    np.int32(size_Ax),np.int32(size_Bx),np.int32(size_Cx),np.in32(size_Cy),
    # (only one) block of MATRIX_SIZE x MATRIX_SIZE threads
    block = (MATRIX_SIZE,MATRIX_SIZE,1),
    )

像这样，每天都有100个工作岗位在运行。我想创建这个报告。

Answer 1

如果您可以使用saveAsTextFile使用mkstring函数在文件中写入，这是一个简单的示例

  val d = Seq(
    ("20180101","123","Successful", "1m"),
    ("20180102","234","fail", "0s")
  ).toDF("Date","Job_Id","job_Status","Run_Time")

  d.rdd.map(x => x.mkString("\n--"))
   .saveAsTextFile("outputFile")

输出：

20180101
--123
--Successful
--1m
20180102
--234
--fail
--0s

但我希望您可以保存为任何其他格式，以便以后更容易阅读。

希望这有帮助！

如何以下拉格式表示数据帧的输出

1 个答案: