Question

我正在尝试找出将用户上传的文件存储在文件系统中的最佳方法。文件范围从个人文件到维基文件。当然，数据库将指向那些我尚未弄清楚的文件。

基本要求：

童话般的体面安全让人们无法猜出文件名（Picture001.jpg，Picture002.jpg， Music001.mp3是一个很大的没有没有）
轻松备份＆amp; Mirrorable（我更喜欢这种方式，所以我不需要每次都要备份整个硬盘。我喜欢只备份最新项目的想法，但我对这里的选项非常灵活。）
如果需要，可在多台服务器上扩展到数百万个文件。

Answer 1

一种技术是将数据存储在以其内容的哈希（SHA1）命名的文件中。这是不容易猜到的，任何备份程序都应该能够处理它，并且它很容易分片（通过在一台机器上存储从0开始的哈希，在下一个机器上以1开始的哈希等）。

数据库将包含用户指定名称与内容的SHA1哈希值之间的映射。

Answer 2

Guids for filenames，自动扩展文件夹层次结构，每个文件夹中的文件/文件夹不超过几千个。备份新文件是通过备份新文件夹来完成的。

您尚未指出您正在使用的环境和/或编程语言，但这里是C＃/ .net / Windows示例：

using System;
using System.IO;
using System.Xml.Serialization;

/// <summary>
/// Class for generating storage structure and file names for document storage.
/// Copyright (c) 2008, Huagati Systems Co.,Ltd. 
/// </summary>

public class DocumentStorage
{
    private static StorageDirectory _StorageDirectory = null;

    public static string GetNewUNCPath()
    {
        string storageDirectory = GetStorageDirectory();
        if (!storageDirectory.EndsWith("\\"))
        {
            storageDirectory += "\\";
        }
        return storageDirectory + GuidEx.NewSeqGuid().ToString() + ".data";
    }

    public static void SaveDocumentInfo(string documentPath, Document documentInfo)
    {
        //the filestream object don't like NTFS streams so this is disabled for now...
        return;

        //stores a document object in a separate "docinfo" stream attached to the file it belongs to
        //XmlSerializer ser = new XmlSerializer(typeof(Document));
        //string infoStream = documentPath + ":docinfo";
        //FileStream fs = new FileStream(infoStream, FileMode.Create);
        //ser.Serialize(fs, documentInfo);
        //fs.Flush();
        //fs.Close();
    }

    private static string GetStorageDirectory()
    {
        string storageRoot = ConfigSettings.DocumentStorageRoot;
        if (!storageRoot.EndsWith("\\"))
        {
            storageRoot += "\\";
        }

        //get storage directory if not set
        if (_StorageDirectory == null)
        {
            _StorageDirectory = new StorageDirectory();
            lock (_StorageDirectory)
            {
                string path = ConfigSettings.ReadSettingString("CurrentDocumentStoragePath");
                if (path == null)
                {
                    //no storage tree created yet, create first set of subfolders
                    path = CreateStorageDirectory(storageRoot, 1);
                    _StorageDirectory.FullPath = path.Substring(storageRoot.Length);
                    ConfigSettings.WriteSettingString("CurrentDocumentStoragePath", _StorageDirectory.FullPath);
                }
                else
                {
                    _StorageDirectory.FullPath = path;
                }
            }
        }

        int fileCount = (new DirectoryInfo(storageRoot + _StorageDirectory.FullPath)).GetFiles().Length;
        if (fileCount > ConfigSettings.FolderContentLimitFiles)
        {
            //if the directory has exceeded number of files per directory, create a new one...
            lock (_StorageDirectory)
            {
                string path = GetNewStorageFolder(storageRoot + _StorageDirectory.FullPath, ConfigSettings.DocumentStorageDepth);
                _StorageDirectory.FullPath = path.Substring(storageRoot.Length);
                ConfigSettings.WriteSettingString("CurrentDocumentStoragePath", _StorageDirectory.FullPath);
            }
        }

        return storageRoot + _StorageDirectory.FullPath;
    }

    private static string GetNewStorageFolder(string currentPath, int currentDepth)
    {
        string parentFolder = currentPath.Substring(0, currentPath.LastIndexOf("\\"));
        int parentFolderFolderCount = (new DirectoryInfo(parentFolder)).GetDirectories().Length;
        if (parentFolderFolderCount < ConfigSettings.FolderContentLimitFolders)
        {
            return CreateStorageDirectory(parentFolder, currentDepth);
        }
        else
        {
            return GetNewStorageFolder(parentFolder, currentDepth - 1);
        }
    }

    private static string CreateStorageDirectory(string currentDir, int currentDepth)
    {
        string storageDirectory = null;
        string directoryName = GuidEx.NewSeqGuid().ToString();
        if (!currentDir.EndsWith("\\"))
        {
            currentDir += "\\";
        }
        Directory.CreateDirectory(currentDir + directoryName);

        if (currentDepth < ConfigSettings.DocumentStorageDepth)
        {
            storageDirectory = CreateStorageDirectory(currentDir + directoryName, currentDepth + 1);
        }
        else
        {
            storageDirectory = currentDir + directoryName;
        }
        return storageDirectory;
    }

    private class StorageDirectory
    {
        public string DirectoryName { get; set; }
        public StorageDirectory ParentDirectory { get; set; }
        public string FullPath
        {
            get
            {
                if (ParentDirectory != null)
                {
                    return ParentDirectory.FullPath + "\\" + DirectoryName;
                }
                else
                {
                    return DirectoryName;
                }
            }
            set
            {
                if (value.Contains("\\"))
                {
                    DirectoryName = value.Substring(value.LastIndexOf("\\") + 1);
                    ParentDirectory = new StorageDirectory { FullPath = value.Substring(0, value.LastIndexOf("\\")) };
                }
                else
                {
                    DirectoryName = value;
                }
            }
        }
    }
}

Answer 3

文件名的SHA1哈希+一个盐（或者，如果你想要的话，是文件内容。这使得检测重复文件更容易，但也给服务器带来了更大的压力）。这可能需要一些调整才能是唯一的（即添加Uploaded UserID或Timestamp），而盐则是让它无法猜测。

然后，文件夹结构由散列部分组成。

例如，如果哈希是“2fd4e1c67a2d28fced849ee1bb76e7391b93eb12”，则文件夹可以是：

/2
/2/2f/
/2/2f/2fd/
/2/2f/2fd/2fd4e1c67a2d28fced849ee1bb76e7391b93eb12

这是为了防止大文件夹（某些操作系统无法使用数百万个文件来创建文件夹，因此为部分哈希创建了几个子文件夹。多少级别？这取决于您期望的文件数量，但是2或者3通常是合理的。

Answer 4

就问题的一个方面而言（安全性）：在文件系统中安全存储上传文件的最佳方法是确保上传的文件不在webroot中（即，您无法通过URL - 你必须通过一个脚本）。

这使您可以完全控制人们可以下载的内容（安全性）并允许记录日志等内容。当然，您必须确保脚本本身是安全的，但这意味着只有您允许的人才能下载某些文件。

Answer 5

扩展Phill Sacre的答案，安全性的另一个方面是为上传的文件使用单独的域名（对于instante，维基百科使用upload.wikimedia.org），并确保该域无法读取您网站的任何Cookie。这可以防止人们上传带有脚本的HTML文件来窃取用户的会话cookie（仅仅设置Content-Type标头是不够的，因为已知some browsers会忽略它并根据文件的内容进行猜测;它也可以嵌入到其他类型的文件中，因此检查HTML并禁止它是不容易的。）

如何将上传的文件存储在文件系统中？

5 个答案: