Question

我正在尝试实现允许多个文件上传的API端点。

我不想将任何文件写入磁盘，而是要缓冲它们并通过管道传输到S3。

这是我上传单个文件的代码。一旦我尝试将多个文件发布到route.js的终结点计算机上，它将不起作用。

route.js-我将尽可能避免与框架无关

import Busboy from 'busboy'
// or const Busboy = require('busboy')

const parseForm = async req => {
  return new Promise((resolve, reject) => {
    const form = new Busboy({ headers: req.headers })
    let chunks = []
    form.on('file', (field, file, filename, enc, mime) => {
      file.on('data', data => {
        chunks.push(data)
      })
    })
    form.on('error', err => {
      reject(err)
    })
    form.on('finish', () => {
      const buf = Buffer.concat(chunks)
      resolve({ 
        fileBuffer: buf,
        fileType: mime,
        fileName: filename,
        fileEnc: enc,
      })
    })
    req.pipe(form)
  })
}

export default async (req, res) => {
// or module.exports = async (req, res) => {
  try {
    const { fileBuffer, ...fileParams } = await parseForm(req)
    const result = uploadFile(fileBuffer, fileParams)
    res.status(200).json({ success: true, fileUrl: result.Location })
  } catch (err) {
    console.error(err)
    res.status(500).json({ success: false, error: err.message })
  }
}

upload.js

import S3 from 'aws-sdk/clients/s3'
// or const S3 = require('aws-sdk/clients/s3')

export default (buffer, fileParams) => {
// or module.exports = (buffer, fileParams) => {
  const params = {
    Bucket: 'my-s3-bucket',
    Key: fileParams.fileName,
    Body: buffer,
    ContentType: fileParams.fileType,
    ContentEncoding: fileParams.fileEnc,
  }
  return s3.upload(params).promise()
}

Answer 1

为此，我找不到很多文档，但我想我已经为解决方案打了补丁。

大多数实现方法似乎是在将文件上传到S3之前将文件写入磁盘，但是我希望能够缓冲文件并上传到S3而无需写入磁盘。

我创建了可以处理单个文件上传的实现，但是当我尝试提供多个文件时，它将缓冲区合并到一个文件中。

我似乎无法克服的一个限制是字段名称。例如，您可以像这样设置FormData()：

const formData = new FormData()
fileData.append('file[]', form.firstFile[0])
fileData.append('file[]', form.secondFile[0])
fileData.append('file[]', form.thirdFile[0])

await fetch('/api/upload', {
  method: 'POST',
  body: formData,
}

此结构布置在FormData.append() MDN example中。但是，我不确定该如何处理。最后，我像这样设置FormData()：

表格数据

const formData = new FormData()
fileData.append('file1', form.firstFile[0])
fileData.append('file2', form.secondFile[0])
fileData.append('file3', form.thirdFile[0])

await fetch('/api/upload', {
  method: 'POST',
  body: formData,
}

据我所知，这显然不是错误的，但这不是首选方法。

这是我更新的代码

route.js

import Busboy from 'busboy'
// or const Busboy = require('busboy')

const parseForm = async req => {
  return new Promise((resolve, reject) => {
    const form = new Busboy({ headers: req.headers })
    const files = [] // create an empty array to hold the processed files
    const buffers = {} // create an empty object to contain the buffers
    form.on('file', (field, file, filename, enc, mime) => {
      buffers[field] = [] // add a new key to the buffers object
      file.on('data', data => {
        buffers[field].push(data)
      })
      file.on('end', () => {
        files.push({
          fileBuffer: Buffer.concat(buffers[field]),
          fileType: mime,
          fileName: filename,
          fileEnc: enc,
        })
      })
    })
    form.on('error', err => {
      reject(err)
    })
    form.on('finish', () => {
      resolve(files)
    })
    req.pipe(form) // pipe the request to the form handler
  })
}

export default async (req, res) => {
// or module.exports = async (req, res) => {
  try {
    const files = await parseForm(req)
    const fileUrls = []
    for (const file of files) {
      const { fileBuffer, ...fileParams } = file
      const result = uploadFile(fileBuffer, fileParams)
      urls.push({ filename: result.key, url: result.Location })
    }
    res.status(200).json({ success: true, fileUrls: urls })
  } catch (err) {
    console.error(err)
    res.status(500).json({ success: false, error: err.message })
  }
}

upload.js

import S3 from 'aws-sdk/clients/s3'
// or const S3 = require('aws-sdk/clients/s3')

export default (buffer, fileParams) => {
// or module.exports = (buffer, fileParams) => {
  const params = {
    Bucket: 'my-s3-bucket',
    Key: fileParams.fileName,
    Body: buffer,
    ContentType: fileParams.fileType,
    ContentEncoding: fileParams.fileEnc,
  }
  return s3.upload(params).promise()
}

使用Node.js和Busboy将多个文件上传到S3

1 个答案:

表格数据

这是我更新的代码