如何在pyspark结构化流中获取文件名并将其包含在数据帧的每一行中?

时间:2019-02-12 11:49:30

标签: pyspark apache-spark-sql spark-streaming spark-structured-streaming

我创建了pyspark结构化的流代码,以查找文件的特定目录,并在文件进入该目录后立即对其进行处理。我还需要在数据框中包含文件名。怎么做?。

0 个答案:

没有答案