Question

问题我可以在Pyspark中使用关键字参数和UDF，就像我在下面所做的那样。 conv方法有一个关键字参数conv_type，默认情况下会分配给特定类型的格式化程序但是我想在某些地方指定不同的格式。由于关键字参数，在udf中没有通过。在这里使用关键字参数有不同的方法吗？

from datetime import datetime as dt, timedelta as td,date

tpid_date_dict = {'69': '%d/%m/%Y', '62': '%Y/%m/%d', '70201': '%m/%d/%y', '66': '%d.%m.%Y', '11': '%d-%m-%Y', '65': '%Y-%m-%d'}

def date_formatter_based_on_id(column, date_format):
    val = dt.strptime(str(column),'%Y-%m-%d').strftime(date_format)
    return val

def generic_date_formatter(column, date_format):
    val = dt.strptime(str(column),date_format).strftime('%Y-%m-%d')
    return val

def conv(column, id, conv_type=date_formatter_based_on_id):
    try:
        date_format=tpid_date_dict[id]
    except KeyError as e:
        print("Key value not found!")
    val = None
    if column:
        try:
            val = conv_type(column, date_format)
        except Exception as err:
            val = column
    return val

conv_func = functions.udf(conv, StringType())

date_formatted = renamed_cols.withColumn("check_in_std", 
conv_func(functions.col("check_in"), functions.col("id"), 
generic_date_formatter))

问题在于最后一个语句（ date_formatted = renamed_cols.withColumn（＆＃34; check_in_std＆＃34;， conv_func（functions.col（＆＃34; check_in＆＃34;），functions.col（＆＃34; id＆＃34;）， generic_date_formatter）））由于第三个参数 generic_date_formatter 是关键字参数。

尝试此操作时出现以下错误： AttributeError：＆＃39;功能＆＃39;对象没有属性＆＃39; _get_object_id＆＃39;

Answer 1

很遗憾，您无法将udf与关键字参数一起使用。 UserDefinedFunction.__call__ is defined with positional arguments only：

def __call__(self, *cols):
    judf = self._judf
    sc = SparkContext._active_spark_context
    return Column(judf.apply(_to_seq(sc, cols, _to_java_column)))

但您遇到的问题与关键字参数无关。您会遇到异常，因为generic_date_formatter不是Column对象而是函数。

您可以动态创建udf：

def conv(conv_type=date_formatter_based_on_id):
    def _(column, id):
        try:
            date_format=tpid_date_dict[id]
        except KeyError as e:
            print("Key value not found!")
        val = None
        if column:
            try:
                val = conv_type(column, date_format)
            except Exception as err:
                val = column
        return val
    return udf(_, StringType())

可以称之为：

conv_func(generic_date_formatter)(functions.col("check_in"), functions.col("id"))

查看Passing a data frame column and external list to udf under withColumn了解详情。

我们可以在UDF中使用关键字参数吗？

1 个答案: