如何过滤大量数据

时间:2016-10-17 08:29:42

标签: php mysql

我从mysql,timestamp和int值中提取数据,然后将所有内容转换为json。我有一个问题,即有很多数据,我需要过滤所有内容以减少数量。

示例:

{timestamp:"2016-10-11 09:43:12",value:"1"},
{timestamp:"2016-10-11 09:43:12",value:"2"},
{timestamp:"2016-10-11 09:42:53",value:"3"},
{timestamp:"2016-10-11 09:42:52",value:"0"},
{timestamp:"2016-10-11 09:43:45",value:"0"},
{timestamp:"2016-10-11 09:43:13",value:"0"},
{timestamp:"2016-10-11 09:43:13",value:"0"},
{timestamp:"2016-10-11 09:43:13",value:"0"},
{timestamp:"2016-10-11 09:43:13",value:"0"},
{timestamp:"2016-10-11 09:43:13",value:"0"},
{timestamp:"2016-10-11 09:43:13",value:"0"}

如果在10分钟内重复,我需要删除相同的值。输出将是这样的:

{timestamp:"2016-10-11 09:43:12",value:"1"},
{timestamp:"2016-10-11 09:43:12",value:"2"},
{timestamp:"2016-10-11 09:42:53",value:"3"},
{timestamp:"2016-10-11 09:42:52",value:"0"}

也许在输出所有内容之前,任何人都有一些想法来过滤所有内容。现在我的数据库大约是200k。数据行。

更新

我使用以下代码在Matlab中过滤了数据:

    naujas_masyvas = 0; 
naujas_masyvas2 = 0;
% last_valaue = VarName31[1]
index=1;
for i=2:1:3472
 last_value = VarName31(i-1);
 value = VarName31(i);   
 if value ~= last_value 
     naujas_masyvas(index) =last_value;
     naujas_masyvas(index+1) = value;
     naujas_masyvas2(index) = datenum(VarName2(i-1,1));
     naujas_masyvas2(index+1) =  datenum(VarName2(i,1));
     index = index +2;
 end


end
naujas_masyvas3 = VarName31;
naujas_masyvas4= datenum(VarName2);
% hold on;

plot(naujas_masyvas2, naujas_masyvas,'c*', naujas_masyvas4, naujas_masyvas3,'red:')
% plot(naujas_masyvas2, naujas_masyvas,'c*')

也许有人有想法如何在php中实现所有内容

感谢。

0 个答案:

没有答案
相关问题