将多个CSV文件导入目录后,将其导入数据库

时间:2018-05-20 13:23:53

标签: csv sftp batch-processing inotify

根据这种情况,我需要一些关于执行将CSV内容导入mysql数据库的命令的正确方法的反馈:

CSV文件包含单个订单。

订单完成后,CSV将通过sFTP上传到我的服务器。可能会在一分钟内上传多个CSV。

命令将:

  1. 获取特定目录中的所有CSV文件
  2. 解析每一个
  3. 制作一个简单的fs.appendFile SQL查询
  4. 如果查询成功则删除文件,或者在抛出任何异常的情况下移动文件
  5. 我想到了两个解决方案:

    • 每15分钟运行一次命令的cron任务
    • 使用INSERT

    关于第二种解决方案,我对每次在文件夹中创建文件时执行命令的情况都有疑问。想象一下,有多个上传的文件间隔很短。你认为在命令运行时可能会出现一些冲突吗?

    您怎么看?

    这是symfony命令:

    inotify-tools

0 个答案:

没有答案