SQL Server中快速,高容量的数据输入

时间:2012-03-07 10:09:34

标签: sql-server bigdata

我目前正处于一个项目的筹备阶段,该项目将涉及(除其他事项外)将大量数据写入数据库,速度非常快(即来自6台摄像机的图像(和相关的元数据),记录40次以上一秒)。

在网络上搜索,“大数据”似乎更常用于较高的费率,但较小的“比特”(即市场数据)。

所以..

  • 是否有更科学的方法来“尝试并看看会发生什么”?
  • “只是扔硬件”是最好的方法吗?
  • 我应该查看一些技术/白皮书/搜索字词吗?
  • 是否有令人信服的理由考虑其他数据库(或只是保存到磁盘)?

对不起,这是一个相当开放的问题(对于程序员来说可能更好?)

1 个答案:

答案 0 :(得分:1)

  

是否有更科学的方法来“尝试并看看会发生什么”?

不,鉴于您的要求非常不寻常。

  

“只是扔硬件”是最好的方法吗?

不,但在某些时候,这是唯一的方法。你不会只是通过调整一只法定熊猫来获得一匹400马力的赛车引擎。没有适当的硬件,你不会在任何数据库中获得高吞吐量。

  

是否有一些我应该查看的技术/白皮书/搜索字词?

在问题的上下文中不是一个有效的问题 - 你专门询问sql server。

  

是否有令人信服的理由考虑其他数据库(或只是保存到磁盘)?

没有。只要您坚持使用关系数据库,相同的规则几乎适用 - 另一个可能更快,但不是很大。

您的主要问题是光盘IO和网络带宽,具体取决于图像的大小。适当调整设备尺寸,你应该没问题。最后,这似乎每秒不到300张图像。当然你想在数据库中自己的图像?我通常喜欢这样,但这就像在电影中存储电影,这可能会拉伸它。

无论你做什么,这都是大量的光盘IO和大小,所以 - 如果你需要IOPS等,硬件是唯一的方法。