我们有一个持久抓取我们的目标网站的爬虫，它的日志文件变得非常庞大。在某些情况下超过1 GB，我不太习惯删除或覆盖它们。有关如何管理大型日志文件的任何示例？
答案 0 :(得分：6)
使用cron脚本每天轮换日志文件。基本上，您将logfile.log重命名为logfile-YYYY-MM-DD.log。这样，您可以使用较小的日志文件而不是一个巨大的日志文件，并且可以轻松地从特定时间段查找记录的消息。如果您还压缩旋转的日志，则会节省更多的磁盘空间。
答案 1 :(得分：1)
您还可以使用log4net，log4j或其他根据文件大小或日期自动更改文件名的日志框架。 http://logging.apache.org/log4net/