我想从其他人的经验中了解使用Codeigniter创建站点地图的最佳方式。我查看了一些插件/库，但都检查了数据库中的页面。如果网站上的某些页面是静态的而不是动态的，会发生什么？
有没有办法使用PHP抓取网站并创建包含结果的XML文件？
我之前用于项目的工具是http://enarion.net/tools/phpsitemapng/download/
这是一个用于创建站点地图的免费工具，并允许使用cron作业等功能。
我的下一步是什么？我怎样才能做到这一点？
答案 0 :(得分：1)
嗯，问题在于你有动态页面和静态页面。因此，爬虫可以工作，但您必须生成一个指向所有动态页面的链接列表。然后，您的爬虫可以点击该列表并访问所有动态页面，然后点击您拥有静态页面的目录。
但是，您提到的phpsitemapng上的文档表明他们将抓取一个实时网站。因此，如果您有可从这些页面访问的所有页面的链接，那么这将完成您所需的工作。
Scans files on website (slower, but will also find dynamic generated files and links)