如何缩短ClickHouse服务器的启动时间？

Question

我正在评估ClickHouse的性能，以供在项目中使用。到目前为止，写入性能一直令人鼓舞，但是当我运行测试并不得不重新启动服务器几次时，我注意到了一个可能成为硬顶的问题：服务器启动时间在波动，并且大多数情况下时代非常高。

我的评估服务器包含26个数据库，这些数据库拥有约540亿条记录，并在磁盘上占用697.32 GB。

有了这么多的数据，我的启动时间已经从7m35s缩短到将近3h。

这正常吗？可以通过一些更高级的配置解决吗？我做错什么了吗？因为就目前而言，这么长的启动时间真是让人头疼。

Answer 1

启动时间缓慢的主要原因是由于需要加载大量的元数据，而元数据与数据文件的数量呈正相关。为了延长启动时间，您需要减少文件数量或获得更多内存，以保留所有dentry和inode缓存。

  

我的评估服务器包含26个数据库，这些数据库拥有约540亿条记录，并在磁盘上占用697.32 GB。

我建议以下内容：

1. 尝试粗略地调整Adjustint当前数据分区方案
2. 使用OPTIMIZE TABLE <table> FINAL压缩所有数据文件
3. 将数据磁盘升级到SSD或高效RAID，或使用btrfs之类的文件系统将元数据分别存储在快速存储中。