标签: apache-spark apache-spark-sql spark-dataframe
我们可以像这样注册一个UDF:sqlContext.udf.register("sample_fn", sample_fn _ ) 但是这个UDF仅限于那个特定的sqlContext。我希望使注册持久化,以便我可以在任何后续的sqlcontext中访问相同的UDF。 或者还有其他方法可以在sparkSQL中注册UDF,以便它们保持持久性吗?
sqlContext.udf.register("sample_fn", sample_fn _ )