Question

如何将装饰者的功能传递给作业？

我有一个使用该函数运行作业的装饰器。

@job
def queueFunction(passedFunction, *args, **kwargs):
    # Do some stuff
    passedFunction(*args, **kwargs)

def myDecorator(async=True):
    def wrapper(function):
        def wrappedFunc(*args, **kwargs):
            data = DEFAULT_DATA
            if async:
                queueFunction.delay(function, *args, **kwargs)
            else:
                data = queueFunction(function, *args, **kwargs)
            return data
        return wrappedFunc
    return wrapper

尝试使用时出错。

Can't pickle <function Model.passedFunction at 0x7f410ad4a048>: it's not the same object as modelInstance.models.Model.passedFunction

使用Python 3.4

Answer 1

发生的事情是，您将原始函数（或方法）传递给queueFunction.delay()函数，但这与限定名称所说的函数不同。

为了在工作程序中运行函数，Python RQ使用pickle module来序列化函数及其参数。但是函数（和类）被序列化为可导入的名称，并且在反序列化pickle模块时，只需导入记录的名称。但是它首先会检查是否会生成正确的对象。因此，在腌制时，将对合格名称进行测试以进行仔细检查，以产生完全相同的对象。

如果我们使用pickle.loads作为示例函数，那么大致是这样的：

>>> import pickle
>>> import sys
>>> sample_function = pickle.loads
>>> module_name = sample_function.__module__
>>> function_name = sample_function.__qualname__
>>> recorded_name = f"{module_name}.{function_name}"
>>> recorded_name
'_pickle.loads'
>>> parent, obj = sys.modules[module_name], None
>>> for name in function_name.split("."):  # traverse a dotted path of names
...     obj = getattr(parent, name)
...
>>> obj is sample_function
True

请注意，pickle.loads实际上是_pickle.loads；没什么大不了的，但是重要的是_pickle可以被访问，并且它具有可以使用限定名称找到的对象，并且它仍然是同一对象。即使对于类（modulename.ClassName.method_name）上的方法，这也将起作用。

但是当您装饰一个函数时，您可能会替换该函数对象：

>>> def decorator(f):
...     def wrapper(*args, **kwargs):
...         return f, f(*args, **kwargs)
...     return wrapper
...
>>> @decorator
... def foo(): pass
...
>>> foo.__qualname__
'decorator.<locals>.wrapper'
>>> foo()[0].__qualname__  # original function
'foo'

请注意，装饰器结果的限定名称与原始名称有很大不同！ Pickle无法将其映射回装饰器结果或原始函数。

您正在将原始的未经修饰的函数传递给queueFunction.delay()，它的限定名称将与替换它的wrappedFunc()函数的限定名称不匹配；当pickle尝试导入在该函数对象上找到的完全限定名称时，它将找到wrappedFunc对象，而该对象不是同一对象。

有几种解决方法，但是最简单的方法是将原始函数作为属性存储在包装器上，然后将其重命名为匹配的合格名称。这使原始功能可用

您必须在这里使用他的@functools.wraps()实用程序装饰器将各种属性从原始的装饰函数复制到包装器函数。这包括原始名称。

这是一个更改原始功能限定名称的版本：

from functools import wraps

def myDecorator(async_=True):
    def wrapper(function):
        @wraps(function)
        def wrappedFunc(*args, **kwargs):
            data = DEFAULT_DATA
            if async:
                queueFunction.delay(function, *args, **kwargs)
            else:
                data = queueFunction(function, *args, **kwargs)
            return data

        # make the original available to the pickle module as "<name>.original"
        wrappedFunc.original = function
        wrappedFunc.original.__qualname__ += ".original"

        return wrappedFunc
    return wrapper

@wraps(function)装饰器确保将wrappedFunc.__qualname__设置为function，因此如果function被命名为foo，那么{{ 1}}函数对象。然后，wrappedFunc语句将wrappedFunc.original.__qualname__ += ".original"的限定名称设置为wrappedFunc.original，这正是foo.original可以再次找到它的地方！

注意：我将pickle重命名为async，以使上述代码在Python 3.7及更高版本上有效；从Python 3.7 async is a reserved keyword开始。

我还看到您决定在装饰时运行同步或异步操作。在那种情况下，我会重写它，以免每次调用该函数时都检查async_布尔标志。只需返回不同的包装器即可：

aync_

我还重命名了各种内部函数； from functools import wraps def myDecorator(async_=True): def decorator(function): if async_: @wraps(function) def wrapper(*args, **kwargs): queueFunction.delay(wrappedFunc.original, *args, **kwargs) return DEFAULT_DATA # make the original available to the pickle module as "<name>.original" wrapper.original = function wrapper.original.__qualname__ += ".original" else: @wraps(function) def wrapper(*args, **kwargs): return queueFunction(function, *args, **kwargs) return wrapper return decorator是装饰器 factory ，它返回实际的装饰器，装饰器返回包装器。

无论哪种方式，结果都是现在可以腌制myDecorator对象：

.original

将装饰器的功能传递给Python RQ

1 个答案: