写入hdfs检索错误

Question

我正在使用spark，当我尝试将流写入本地磁盘时 - 工作得很好：

logs.foreachRDD((rdd,time)=>rdd.saveAsTextFile("c://tmp/rotman" +  time.milliseconds.toString))

然而，尝试写入hdfs检索错误。 当我使用hdfs将文件直接创建到"hdfs dfs -put test1 /tmp"时，它工作正常，因此没有数据节点问题。

 logs.foreachRDD((rdd,time)=>rdd.saveAsTextFile("hdfs://server1:8020/user/kafka/count" +  time.milliseconds.toString))

  

17/06/23 16:42:39 WARN DFSClient：DataStreamer异常       org.apache.hadoop.ipc.RemoteException（java.io.IOException）：File

     

/用户/卡夫卡/ count1498225335000 / _temporary / 0 / _temporary / attempt_201706231642_0022_m_000000_22 /部分-00000   只能复制到0个节点而不是minReplication（= 1）。   有1个datanode正在运行，其中1个节点被排除在外   操作

我错过了什么吗？

谢谢！