关于建立跨平台网站抓取项目的建议

时间:2012-07-12 20:32:18

标签: python ide cross-platform pyqt scrapy

寻找有关为抓取应用程序选择语言和IDE的建议。以下是我的要求:

  1. 需要使用适合跨平台的语言(Win / OSX)
  2. 需要使用对多个程序员具有良好源代码控制的IDE
  3. 想使用强大的库进行抓取
  4. 想要为每个平台制作原生的GUI
  5. 在我最初的研究之后,这是我到目前为止所做的:

    1. 的Python
    2. pyQT for GUI
    3. 不确定使用哪个IDE适用于源代码管理(Eclipse?)
    4. Scrapy.org用于抓取
    5. 可能是Selenium WebDriver
    6. 我不确定Scrapy是否能满足我的需求,因为我需要能够在可能使用javascript的网站上提交表单......所以我认为Selenium可以处理它。

      我不想使用Objective C或C ++。我倾向于Python,因为它的快速发展似乎很好。

      所以问题是,我是在正确的轨道还是我完全错过了一个完全不同的更好的路径,这将更简单或更适合在网站上抓取和提交表格?

0 个答案:

没有答案