AWS Simple Workflow Service - 可靠地运行长时间运行的流程

时间:2016-09-22 13:50:45

标签: amazon-web-services amazon-swf

情况:

我想使用AWS SWF来协调长时间运行的手动活动。在AWS中调度活动时,我将其传输到DB以在UI上显示哪些任务正在等待处理。这些任务可能需要数周才能完成,因此它们在SWF中会有很长的时间。

问题:

如果我的应用程序无法填充数据库(在没有报告任何错误的情况下挂起或死亡),则一个人不会看到任务,并且只有在活动超时几周后才会进行重试(这显然是不可接受的)。

问题:

所以我希望有能力开始"任务(比如说超时为30秒),当应用程序确定活动现在已经开始时,将超时设置为几周。是否真的可以使用SWF优雅地完成它?

(我已经阅读过doc和几个例子,但仍然不了解运行手动任务的设想方式)

1 个答案:

答案 0 :(得分:3)

不幸的是,SWF服务不支持“启动活动任务”API调用。我使用的解决方法是使用具有短超时的活动将记录插入到数据库中。然后关于它的手动任务完成信号工作流程。需要一个单独的计时器来处理手动任务超时。所有这些逻辑都可以封装在一个单独的类中以供重用。

使用信号的好处是手动任务通常有多个状态。例如,可以在声明任务并稍后释放任务时发信号通知工作流。每个州都可以有不同的超时。

[编辑:添加了strawman ManualActivityClient示例]

public class ManualActivityClient {

    private final Map<String, Settable<Void>> outstandingManualActivities = new HashMap<>();

    private StartManualActivityClient startActivityClient;
    private WorkflowClock clock;

    public Promise<Void> invoke(String id, String activityArgs, long timeout) {
        Promise<Void> started = startActivityClient.start(id, activityArgs);
        Settable<Void> completionPromise = new Settable<>();
        outstandingManualActivities.put(id, completionPromise);
        // TryFinally is used to define cancellation scope for automatic timer cancellation.
        new TryFinally() {
            @Override
            protected void doTry() throws Throwable {
                // Wrap timer invocation in Task(true) to give it daemon flag. Daemon tasks are automatically
                // cancelled when all other tasks in the same scope (defined by doTry) are done.
                new Task(true) {
                    @Override
                    protected void doExecute() throws Throwable {
                        Promise<Void> manualActivityTimeout = clock.createTimer(timeout);
                        new Task(manualActivityTimeout) {
                            @Override
                            protected void doExecute() throws Throwable     {
                                throw new TimeoutException("Manual activity " + id + " timed out");
                            }
                        };
                    }
                };
                // This task is used to "wait" for manual task completion. Without it the timer would be
                // immediately cancelled.
                new Task(completionPromise) {
                    @Override
                    protected void doExecute() throws Throwable {
                        // Intentionally empty
                    }
                };
            }

            @Override
            protected void doFinally() throws Throwable {

            }
        };
        return completionPromise;
    }

    public void signalManualActivityCompletion(String id) {
        // Set completionPromise to ready state
        outstandingManualActivities.get(id).set(null);
    }
}

这个类可以用作:

@Workflow(...)
public class ManualActivityWorkflow {

    private ManualActivityClient manualActivityClient;

    @Execute(...)
    public void execute() {
        // ...
        Promise<Void> activity1 = manualActivityClient.invoke("activity1", "someArgs1", 300);
        Promise<Void> activity2 = manualActivityClient.invoke("activity2", "someArgs2", 300);

        // ...
    }

    @Signal(...)
    public void signalManualActivityCompletion(String id) {
        manualActivityClient.signalManualActivityCompletion(id);
    }

}