用于跟踪和分析产品的数据库结构

时间:2017-07-10 21:30:16

标签: sql database statistics analytics database-schema

我正在构建一个工具来跟踪来自外部供应商的产品 - 我通过他们列出的产品的API(ID,名称,价格,类别等)获得每日供稿。我想做各种各样的事情。对此进行分析,如计算每个类别的平均价格,平均产品上市时间等,以确定一些趋势。

我不确定存储这些数据的最佳方法 - 目前,我有一张表格如下:

  • ID(主键)
  • 姓名
  • 价格
  • 类别
  • 首次见到日期
  • 上次查看日期

我从供应商那里获取每日Feed,在复制时执行插入或更新 - 如果产品已添加到表中,则它会更新今天的日期上次显示的日期。如果产品不在每日api Feed中,则表示不再列出该产品,因此上次查看日期将显示历史日期。

有几千种产品,这个插入或更新命令需要一分钟左右;我的全套产品每天将达到40万左右,所以我预计需要更长的时间(在40万件产品中,可能会有0.5%的新产品需要加入,0.5%会从前一天下降,所以不会更新其余的将存在,所以最后看到的日期需要更新。)

我可以采取其他更有效的方法吗?

目前使用ASP.NET和C-Sharp的工具和数据库是MySQL,虽然也开放给MSSQL /其他数据库服务器。

0 个答案:

没有答案