从多台机器承诺到单个zookeeper

时间:2015-12-17 13:22:31

标签: solr apache-zookeeper solrcloud

我们有solrcloud(4台机器上有11个分片,1个动物园管理员)。我们想索引超过1亿份文件。我们从数据库中提取文档,准备xml文件并将它们发布到solrcloud。

由于大部分时间都花在准备xml文件上,我们在多台计算机上分发了此任务。因此,我们正在多台机器上准备xml文件,所有这些机器都将xml文件发布到同一个zookeeper(solrcloud)

此解决方案正在快速准备我们准备xml文件,但偶尔我们会收到错误消息

503服务不可用:{" responseHeader":{" status":503," QTime":412},"错误": {" msg":"无法与ZooKeeper对话 - 更新被禁用。","代码":503

拥有多个动物园管理员会解决这个问题吗?还有其他方法可以解决这个问题吗?

1 个答案:

答案 0 :(得分:0)

我也有类似的用例,在高容量负载时遇到了这个问题。我通过添加两个额外的zookeeper节点解决了这个问题,而我的 lws-solrcoud有5个节点,其中 5个zookeeper节点
我建议你要么停止摄取处理一段时间或添加其他节点 有趣的问题有时我会在高容量负载期间得到“没有托管分片异常的服务器”,并且服务器的分片会在一段时间后自动恢复。我们创建客户端锁定,监视云分片状态,并且所有摄取线程都被阻塞,等待锁定释放。

org.apache.solr.common.SolrException: no servers hosting shard: