Question

我正在努力从网络服务器上自动收集PHP脚本数据。 The files in question包含meteo数据，每10分钟更新一次。奇怪的是，网络服务器上的“文件修改”日期不会改变。

一个简单的fopen（'http：// ...'）命令尝试每小时获取此目录中最后一个文件的最新版本。但经常我最终得到一个长达4个小时的版本。这发生在Linux服务器上（正如我的系统管理员向我保证的那样）不使用任何类型的代理服务器。

PHP是否实现了自己的缓存机制？或者还有什么可以干扰这里？

（我目前的解决方法是通过exec（'wget --nocache ...'）获取文件，该文件有效。）

Answer 1

由于您是通过HTTP获取文件，我假设PHP将遵循服务器响应的任何缓存头。

避免这种情况的一种非常简单和肮脏的方法是在每个请求中附加一些随机get参数。

Answer 2

因此，如果我正确理解您，部分问题可能是* .dat文件的时间戳始终为凌晨1点？您是否可以控制包含数据的服务器（http://www.iac.ethz.ch/php/chn_meteo_roof/）？如果是这样，您应该尝试找出数据始终具有相同时间戳的原因。我不得不相信它是有意设置的 - 操作系统会在文件被修改时更新时间戳，除非你不想让它不这样做。如果你无法弄清楚为什么它被设置为1AM，你至少可以对文件执行“触摸”命令，这将更新它的修改后的时间戳。

当然，这就是假设您可以访问提供文件的服务器。

Answer 3

Q与观察到的fopen（'http：// ...'）访问内容的缓存有关，并且海报想知道PHP是否实现了自己的缓存机制？其他答案包括一些推测，但肯定最容易找到的方法是查看源代码或者更容易检测系统调用以查看发生了什么？这对于Debian系统来说是微不足道的，如下所示：

$ echo "Hello World" > /var/www/xx.txt
$ strace -tt -o /tmp/strace  \
> php -r 'echo file_get_contents("http://localhost/xx.txt");'
Hello World

我已经在下面列出了strace日志的相关摘录，但是这显示的是PHP RTS只是连接到 localhost：80 ，发送一个“GET /xx.txt”，得到一个响应包括标题和文件内容，然后它回应到STDOUT。

在PHP RTS中绝对没有客户端缓存，并且由于这是在进行直接HTTP套接字对话，因此很难想象客户端上可能发生缓存。我们留下了服务器端或中间代理缓存的可能性。（注意我默认在txt文件上访问过期+ 7天）。

日志文件提取

00:15:41.887904 socket(PF_INET6, SOCK_STREAM, IPPROTO_IP) = 3
00:15:41.888029 fcntl(3, F_GETFL)       = 0x2 (flags O_RDWR)
00:15:41.888148 fcntl(3, F_SETFL, O_RDWR|O_NONBLOCK) = 0
00:15:41.888265 connect(3, {sa_family=AF_INET6, sin6_port=htons(80), inet_pton(AF_INET6, "::1", &sin6_addr), sin6_flowinfo=0, sin6_scope_id=0}, 28) = -1 EINPROGRESS (Operation now in progress)
00:15:41.888487 poll([{fd=3, events=POLLIN|POLLOUT|POLLERR|POLLHUP}], 1, 60000) = 1 ([{fd=3, revents=POLLOUT}])
00:15:41.888651 getsockopt(3, SOL_SOCKET, SO_ERROR, [0], [4]) = 0
00:15:41.888838 fcntl(3, F_SETFL, O_RDWR) = 0
00:15:41.888975 sendto(3, "GET /xx.txt HTTP/1.0\r\n", 22, MSG_DONTWAIT, NULL, 0) = 22
00:15:41.889172 sendto(3, "Host: localhost\r\n", 17, MSG_DONTWAIT, NULL, 0) = 17
00:15:41.889307 sendto(3, "\r\n", 2, MSG_DONTWAIT, NULL, 0) = 2
00:15:41.889437 poll([{fd=3, events=POLLIN|POLLPRI|POLLERR|POLLHUP}], 1, 0) = 0 (Timeout)
00:15:41.889544 poll([{fd=3, events=POLLIN|POLLERR|POLLHUP}], 1, 60000) = 1 ([{fd=3, revents=POLLIN}])
00:15:41.891066 recvfrom(3, "HTTP/1.1 200 OK\r\nDate: Wed, 15 F"..., 8192, MSG_DONTWAIT, NULL, NULL) = 285
00:15:41.891235 poll([{fd=3, events=POLLIN|POLLERR|POLLHUP}], 1, 60000) = 1 ([{fd=3, revents=POLLIN}])
00:15:41.908909 recvfrom(3, "", 8192, MSG_DONTWAIT, NULL, NULL) = 0
00:15:41.909016 poll([{fd=3, events=POLLIN|POLLERR|POLLHUP}], 1, 60000) = 1 ([{fd=3, revents=POLLIN}])
00:15:41.909108 recvfrom(3, "", 8192, MSG_DONTWAIT, NULL, NULL) = 0
00:15:41.909198 close(3)                = 0
00:15:41.909323 write(1, "Hello World\n", 12) = 12
00:15:41.909532 munmap(0x7ff3866c9000, 528384) = 0
00:15:41.909600 close(2)                = 0
00:15:41.909648 close(1)                = 0

Answer 4

为什么不尝试使用curl，我认为这是一个更恰当的用途。

Answer 5

也许这可以解决您的问题（据我所知，POST请求无法缓存）

$opts = array('http' =>
  array(
    'method'  => 'POST',
    'content'=>''
  )
);
$context  = stream_context_create($opts);
$resource = fopen ('http://example.com/your-ulr', 'r', false, $context);

/* or you can use file_get_contents to retrieve all the file 
   $fileContent = file_get_contents('http://example.com/your-ulr', false, $context);
*/

PHPs fopen函数是否实现了某种缓存？

5 个答案:

日志文件提取