Spark 1.3.1 Python ForeachRDD

时间:2015-05-29 06:36:32

标签: python apache-spark apache-kafka spark-streaming pyspark

我正在python中编写一个脚本,它从kafka Dstream获取RDD。然后我想把RDD分解并执行一个hive查询等等。 为此,我使用以下代码

<select class="abc">
<option value="URL">1</option>
<option value="URL">2</option>
</select>
<input type="button" onClick="" value="GO">

然后我从generateRecommendation中调用一个配置单元查询。 是否有可能以某种方式在此命令中执行配置单元查询,而无需调用foreachrdd然后调用函数?我知道要火花和蟒蛇。

recommendationDataset = parsedStream.map(lambda (v): (v.get("CustomerId"))).foreachRDD(generateRecommendation)

0 个答案:

没有答案
相关问题