无法解决线程锁定对象

时间:2018-02-05 17:57:51

标签: python apache-spark logging pyspark pickle

我试图在python中运行以下代码:

    Could not pickle thread lock

我知道,它根本没有意义,但它确实重现了我的错误。

ConcurrentMap.computeIfPresent

或类似的东西。

到目前为止,我发现它与日志记录对象有关,并且在extract_udf()中调用了self方法。当我删除日志记录时,它将起作用,当我使用非对象函数而不是self.test()时,它也会起作用。

您对如何解决这个问题有任何想法,或者可以解释为什么会发生这种情况?

我不知道链接消失的原因,但我想我会在这里试试这篇文章: How to process RDDs using a Python class?

虽然我的问题似乎有所不同,但只要我不参与记录,它就会起作用。

0 个答案:

没有答案