PySpark对多个值的reduceByKey

Question

如果我有一个K，V对，就像：

(K, (v1, v2))
(K, (v3, v4))

我怎样才能总结出我得到的价值观 (k, (v1 + v3, v2 + v4))？

Answer 1

reduceByKey支持函数。让我们说A是Key-Value对的数组。

output = A.reduceByKey(lambda x, y: x[0]+y[0], x[1]+y[1])