是否有任何Kimonolabs替代品？

时间：2016-02-23 10:30:45

标签： web-scraping kimono

最近kimonolabs宣布他们将关闭，这是一个重要的失望，因为我的应用程序在获取数据方面严重依赖此服务。他们只是关闭这项服务真是令人失望。我一直在使用import.io，但它没有接近和服的标准，并且缺少一些功能。

我想知道是否有任何类似于和服的服务具有以下功能：

  • 计划抓取，即每24小时计划一次抓取，或者您可以调用链接来更新抓取的最新数据。
  • 批量或单个网址抓取，即输入列表或单个网址以进行抓取。
  • 调用链接以获取JSON中的抓取结果。
  • 使用单个api密钥拨打api。
  • 这些功能大部分都是免费的。

或者我可能想要创建我自己的，只是因为我不想增加学习Node.js或Python的开发时间，这就是为什么我在问这个问题。

3 个答案:

答案 0 :(得分：1)

更新：2018年12月 - Agenty现在通常可以使用

如果您正在寻找桌面应用，Data Scraping Studio具有与Kimono相同的更多功能。或者您可以将它安装在Windows服务器上，以制作您自己的Kimono ++ 完全替代

enter image description here

仅供参考：我们还计划在2016年4月之前推出托管解决方案和REST API

您可以在网站上查看更多详情（www.datascraping.co）现在Agenty.com

披露：我是创始成员之一

答案 1 :(得分：1)

披露：我在Portia的创作者Scrapinghub工作。

Portia，一个开源的视觉抓取工具，可让您通过指向并点击您尝试从中获取数据的网页进行抓取。

Scrapy cloud有托管版本，您可以免费创建帐户并获取：

  • 通过Scrapy Cloud Web UI和API安排您的Portia Spiders。
  • 使用API​​
    • 获取项目
  • 使用scrapy插件（例如执行增量爬网，将图像下载到s3等）。
  • 和其他人。

Here你可以看到Portia在行动

[编辑] 您也可以使用此tool

自动将您的kimonolabs项目移植到portia

答案 2 :(得分：0)

我和我的团队正在开发一个非常相似的工具，我们很快就会推出它。这里有更多关于它的信息：

自动是网络自动化工具，您可以非常轻松地从任何网站抓取数据。

部分功能包括：

  • 预览不同格式的报废数据，如CSV，JSON，RSS和API。还有下载选项。

  • 从相同数据生成小部件并获取iframe输出以显示在您的网站上。

  • 使用不同的图表类型可视化数据。

  • 支持常规分页和无限滚动

  • 安排和循环任务

  • 与其他平台集成

如果您有兴趣，可以在此处注册提前访问 https://automatio.co

查看几个视频，看看它的实际效果：

相关问题
最新问题