从没有URL的网站获取数据

Question

我正在开发一个项目，需要通过解析其html并从标题标签和元描述中获取内容来从网站中提取数据。我能够从普通网站解析该数据，但在这个问题上，网站只是可以使用IP地址作为URL进行访问。是否可以提取以及可以使用哪种解决方案？

Answer 1

网址不需要域名，http://127.0.0.1/test.php之类的内容是有效网址，所有抓取工具都应正确使用。

这要求网站响应对基于ip的网址的请求。私人服务器或非常大的站点上的人可能会这样做，来自普通共享主机的站点通常不会因为他们使用相同的ip来托管多个站点。