在AWS上部署API数据提取时,TCP消息被截断

时间:2019-02-28 20:41:26

标签: amazon-web-services api amazon-ec2 network-programming python-requests

我正在一个项目中,该项目打算从API获取历史市场数据,并且我编写了一个相当复杂的程序来请求新数据(在这种情况下,OHLCV / candle数据是每十分钟一个5值的浮点数数组)。 为了在运行它以实际写入数据库之前对其进行测试,我编写了在本地运行它的CSV文件。在这种情况下,该程序将始终正常运行,并获得价值10分钟的行(10行)并写入csv。

但是,在AWS中运行/写入数据库的数据库版本缺少数据,调试后我发现这实际上是因为API响应未响应10-它正在响应3、5、4、7等-不是完整的数据。经过分析,似乎响应被截断了,因为返回的4、5或任何部分金额是前4、5分钟,但缺少其余部分。只要它在AWS上运行,csv / db版本都将发生这种情况,但是在我的本地计算机上最好是10。

因此,我的问题是,为什么能(如何)在本地计算机上正常运行才能很好地获得响应,却在AWS EC2实例上发生此问题(这是REST API,TCP可以保证完整数据)?如何诊断/修复导致此问题的正在发生的事情?

向服务器附加一个示例GET请求,任何阅读此请求的人都可以在终端上运行以查看如何返回数据。如果需要更多说明,请询问(不想淹没太多细节)。

curl "https://api.nomics.com/v1/exchange_candles?key=2018-09-demo-dont-deploy-b69315e440beb145&interval=1d&exchange=binance&market=BTCUSDT&start=2018-04-14T00%3A00%3A00Z&end=2018-05-14T00%3A00%3A00Z&format=csv"

0 个答案:

没有答案