dsbulk卸载问题

时间:2020-04-15 06:52:57

标签: cassandra runtime-error datastax bulk dsbulk

使用dsbulk卸载时,我收到以下消息。我无法弄清楚这是什么意思

[s0 | 347101951 | 0]发送取消请求时出错。这并不重要(请求最终将在服务器端超时)。 (HeartbeatException:空)

由于前一个仍在进行中,因此未发送心跳。检查advanced.heartbeat.interval是否不低于advanced.heartbeat.timeout。

谢谢

1 个答案:

答案 0 :(得分:4)

“错误发送取消请求”是连续分页查询的典型特征。似乎协调员由于某种原因遇到了麻烦,这就是为什么您还会看到心跳失败的原因。 Dsbulk可能会在群集上施加过多的负载。

您没有提到dsbulk的确切版本,但假设使用1.4+,我建议尝试以下操作(单独或组合):

  1. 禁止使用dsbulk.executor.continuousPaging.enabled = false进行连续分页(这可能会使dsbulk变慢)。

  2. 使用较小的页面尺寸,例如1000行:

    1. 如果不使用连续分页:datastax-java-driver.basic.request.page-size = 1000
    2. 如果使用连续分页:datastax-java-driver.advanced.continuous-paging.page-size = 1000
  3. 通过节流dsbulk减少群集上的负载

    1. 通过限制并发请求的数量(例如, 128:
      1. DSBulk <1.6:dsbulk.executor.maxInFlight = 128
      2. DSBulk> = 1.6:dsbulk.engine.maxConcurrentQueries = 128
    2. 通过限制每秒的请求数(例如, 500:dsbulk.executor.maxPerSecond = 500
相关问题