我正在开发一个单页Web应用程序，该应用程序将允许用户上传大型CSV文件（大于5 GB），然后将其发送到python flask服务器以流式传输到数据库。由于内存问题，大型CSV很难在python中读取，因此我认为最好将csv数据发送到sqlite之类的数据库，然后查询数据库以取回数据。但是，我尝试使用pandas逐块读取6.9 GB的csv文件，然后使用df.to_sql()方法将其存储到sqlite数据库中，但是这花费了大约一个小时，这在Flask服务器中效率很低和糟糕的用户体验。我一直在做一些研究，看来我可以使用工作进程/任务队列，例如Celery或Redis Queue来加快进程，但不确定如何执行此操作或是否需要套接字做这个。我是一名初级开发人员，因此对教程，示例或建议的任何引用将不胜感激。