使用Dask和Lightgbm对大数据集进行评分/预测

Question

希望使用轻松的分布式集群来加快lightgbm的评分/预测。本质上在寻找与lightgbm相同的ParallelPostFit-当前似乎仅适用于sklearn模型https://examples.dask.org/machine-learning/parallel-prediction.html

有人知道lightgbm等效是什么吗？

Answer 1

您尝试过这两个吗？

• dask-lightgbm
• xgboost-dask

Answer 2

您可以保存模型并将其包装在ParallelPostFit中

Answer 3

自从第一次提出这个问题以来，dask-lightgbm 已被吸收到 lightgbm 中，而 dask-lightgbm 已被归档。

lightgbm（LightGBM 的官方 Python 包），提供使用 Dask 进行训练和预测的接口。

请参阅 https://lightgbm.readthedocs.io/en/latest/Parallel-Learning-Guide.html#prediction-with-dask 获取文档或 https://github.com/microsoft/LightGBM/blob/fdc582ea6ba13faf15ee6707c7c7542790c8821d/examples/python-guide/dask/prediction.py 获取代码示例。