Question

问题

如果我没有足够的空间将数据分配到RAM中并且我没有足够的空间在当前的FS分区上复制数据，如何将数据写入文件的开头？即我有一个100Mb大小的文件，我的PHP脚本中有30Mb内存限制（并且无法以任何方式进行调整）而且我当前的FS只有50Mb空闲划分。我想在文件中添加2-10行（它肯定少于剩余的50Mb FS空间）

一些背景

我知道XY-problem并且同意这种情况是正确的。但是要重新考虑这种情况，我需要更改当前应用程序的重要部分（实际上，它来自以前的团队），并且可能是使用此文件的其他应用程序的API。

我的尝试

我还没有找到解决方案。我以前的方法是 - 使用一些网络缓冲区（例如连接到某些外部存储器，例如MySQL） - 它位于另一台有足够空间写入文件副本的机器上）

问题

那么，当我没有足够的空间在RAM中分配数据并且没有足够的空间在FS上创建文件副本时，是否可以将数据写入文件的开头？使用网络（外部）存储是唯一的解决方案吗？

Answer 1

假设您想将2K写入文件的开头，您唯一真正的选择是：

打开文件
从文件末尾读取尽可能多的内容
将其写回 2K以后的文件，而不是开始阅读
继续上一个数据块，直到您将文件2K的整个内容移到最后
将你的2K写到开头

想象一下：

|------------------------|

|-----------------XXXXXXX|
                  ------>

|-------------------XXXXXXX|

|----------XXXXXXX---------|
           ------>

|------------XXXXXXX-------|

...repeat...

请注意，这是一个非常不安全的操作，可以对文件进行编辑。如果进程崩溃，则文件处于不一致状态。如果磁盘上没有足够的空间来复制文件，那么您可能无法使用该文件并首先扩展存储容量。

Answer 2

@deceze提示我很棒的主意。所以我完成了：

function reverseFile($sIn, $sOut, $bRemoveSource=false)
{
        $rFile = @fopen($sIn, 'a+');
        $rTemp = @fopen($sOut,'a+');
        if(!$rFile || !$rTemp)
        {
                return false;
        }
        $iPos = filesize($sIn)-1;
        while($iPos>=0)
        {
                fseek($rFile, $iPos, SEEK_SET);
                fwrite($rTemp, $tmp=fread($rFile, 1));
                ftruncate($rFile, $iPos>0?$iPos:0);
                clearstatcache();
                $iPos--;
        }
        fclose($rFile);
        fclose($rTemp);
        if($bRemoveSource)
        {
                unlink($sIn);
        }
        return true;
}

function writeReverse($sFile, $sData, $sTemp=null)
{
        if(!isset($sTemp))
        {
                $sTemp=$sFile.'.rev';
        }
        if(reverseFile($sFile, $sTemp, 1))
        {
                file_put_contents($sTemp, strrev($sData), FILE_APPEND);
                return reverseFile($sTemp, $sFile, 1);
        }
        return false;
}

-it会很慢，但如果进程中断，则可以恢复（只需查看.rev文件）

感谢所有参与此活动的人。

Answer 3

我已经尝试过@AlmaDo建议的代码，不要在真实的项目中尝试它，否则你会在地狱中燃烧，它非常慢。（60MB文件 - 处理19分钟）

你可以运行shell脚本 - https://stackoverflow.com/a/9533736/2064576（处理420ms，无法理解它使用了多少内存）或者试试这个php脚本 - https://stackoverflow.com/a/16813550/2064576（160ms，使用memory_limit = 3M，不适用于2M）

当空间不足时，将数据写入文件的开头

3 个答案: