高速插入许多记录

Question

目前我有2000万条记录，我想将它插入我在Cassandra db中的表格。每条记录的大小约为1KB。

目前我正在做的是每条记录，我制作一个PreparedStatement（com.datastax.driver.core）并执行它以将数据传输到表（通过com.datastax.driver.core.Sessions）。

整个过程大约需要5到6个小时才能完成。我有03个节点用于cassandra（使用HHDs）。根据我的理解，我正在做的是串行插入操作。

我的问题是，有什么办法可以加快整个插入过程吗？

Answer 1

您可能正在使用普通语句，这对于一些查询非常有用，但绝对不适合您的用例，您需要使用asynchronous queries来获得正确的性能。

我曾经使用SSTableLoader加载大量数据但是我有太多不确定的数据和相同的查询返回不同的结果，这就是为什么我不推荐它。