为集群环境创建列表

时间:2016-11-24 13:01:44

标签: java spring rabbitmq hazelcast distributed-caching

在我的应用程序中有一个列表publisherPostListenerList,它接收来自RabbitMQ队列的实时用户帖子,以发送给订阅者/消费者。该列表是ApplicationListener类的属性,它监听pubsub队列的事件。下面的控制器方法通过getter方法&获取列表元素。基于逻辑将帖子推送给订阅者。

流程如下

用户撰写帖子 - >帖子进入DB +队列 - >来自队列的消息被添加到publisherPostListenerList的列表中,以便推送给用户的订阅者。

正如我们所看到的,publisherPostListenerList是n个并发请求的公共列表,因为ApplicationListener是单例。对于单个实例,设置工作正常但在集群环境中将失败,因为每个节点将具有其自己的单独publisherPostListenerList列表。

我该如何处理这种情况?我不能使ApplicationListener类无状态我需要列表来存储从队列接收的post元素。我是否将列表放在分布式内存缓存中?或者还有其他传统方式吗?

ApplicationListener.java

@Component
public class ApplicationEventListener {

    private List<Post> publisherPostListenerList = new CopyOnWriteArrayList<Post>();

    private static final Logger logger = Logger.getLogger(ApplicationEventListener.class);

    @EventListener
    public void postSubmissionEventHandler(PostSubmissionEvent event) throws IOException {
        Post post = event.getPost();
        logger.debug("application published user post received " + post);
        publisherPostListenerList.add(post);
    }

    public List<Post> getPublisherPostListenerList() {
        return publisherPostListenerList;
    }

    public void setPublisherPostListenerList(List<Post> publisherPostListenerList) {
        this.publisherPostListenerList = publisherPostListenerList;
    }
}

将消息推送给订阅者的控制器方法

@RequestMapping(value="/getRealTimeServerPushUserPosts")
    public SseEmitter getRealTimeServerPushUserPosts(@RequestParam("userId") int userId){
        SseEmitter sseEmitter = new SseEmitter();
        CustomUserDetail myUserDetails = currentUserAccessor.getCurrentLoggedInUser();
        User loggedInUser=myUserDetails.getUser();

        List<Integer> userPublisherIDList = this.userService.loadUserPublisherIdListWhichLoggedInUserFollows(loggedInUser);
        List<Post> postList =eventListener.getPublisherPostListenerList();


        for(Integer userPublisherId : userPublisherIDList){
            for(Post post:postList){
                    if((userPublisherId.intValue()) == (post.getUser().getUserId().intValue())){
                        try {
                        sseEmitter.send(post);
                        postList.remove(post); //removes the post for all the subscribers as the list acts as a global list.
                    } catch (IOException e) {
                        logger.error(e);
                    }
                }
             }
         }
        return sseEmitter;
    }

3 个答案:

答案 0 :(得分:2)

您可以使用Hazelcast IList。它遵循j.u.List语义,适用于分布式/集群环境。

您可以找到文档here和示例here。 另一种选择是使用分布式地图aka IMap

如果您对实施细节有任何具体问题,请与我们联系。

谢谢

答案 1 :(得分:1)

将列表放在应用程序的缓存内存中可能会导致一些问题(例如低可伸缩性......)。为什么不使用像Redis这样的内存数据库?通过这种方式,您可以扩展应用程序,所有实例都可以共享同一个数据库。您还保证数据完整性。

答案 2 :(得分:-1)

ApplicationListener旨在用于处理应用程序上下文中的事件。要解决您的问题,您可能需要部署一些消息技术(JMS主题)。 postSubmissionEventHandler()不是将PostSubmmittion添加到列表中,而是创建并发送消息以表示JMS主题上的事件。 现在,在您的控制器方法中,您可以从主题中读取消息,然后将它们发布给已连接的用户。

希望这有帮助