Question

我们有一套设备，所有设备都有传感器。所有设备都有一些常见的传感器，但有些设备还有其他传感器。每个传感器都具有不同的离散化水平，有些传感器有时可能会非常快速地改变，有时可能无法改变。例如，我们有DeviceA并且在表单中有一个数据包流（NULL表示值不会改变）：

Timestamp, Temp, Latitude, Longitude, Speed...
111, 20, 54.111, 23.111, 10
112, 20, NULL, NULL, 13
113, 20, NULL, 23.112, 15

和DeviceB：

Timestamp, Temp, Latitude, Longitude, Speed..., AdditionalSensor
111, 24, 54.111, 23.121, 10 ... 1
112, 23, 55.111, 23.121, 13 ... 2
113, 23, 55.111, 23.122, 15 ... 1

一段时间后，可以在某些设备上添加新的传感器。每个传感器可以是任何数字类型（Int32，UInt8，Float32）

之后数据将用于计算：dau，mau，retention，GPS坐标聚类等。

我们可以简单地创建一些表：

CREATE TABLE Sensors
(
        Date Date,
        Id FixedString(16),
        DeviceNumber FixedString(16),
        TimeUtc DateTime,
        DeviceTime DateTime, 
        Version Int32, 
        Mileage Int32, 
        Longitude Float64, 
        Latitude Float64, 
        AccelX Float64, 
        AccelY Float64, 
        AccelZ Float64
        ...
) ENGINE = MergeTree(Date, (DeviceNumber, TimeUtc), 8192);

但是这里有两个问题：不支持一组不同的传感器，有时我们在没有变化的情况下对某些传感器值有空值，并且在时间戳之前看到最后一个非空值会很棒。

我们可以通过创建包含字段的表来解决第一个问题：SensorName，Timestamp，Date，Value。但如何选择正确的类型？我们应该为不同类型使用不同的表吗？可能我们需要使用石墨引擎，遗憾的是，我对此没有任何经验。所以任何帮助都非常感谢。有可能只保留任何传感器的值。

更新

我找到了一种如何处理空值的方法。我们可以使用＆＃34; anyLast＆＃34;函数来请求列的最后收到的值：

SELECT anyLast(Lights) FROM test where TimeUtc <= toDateTime('2017-11-07 11:13:59');

不幸的是，我们无法使用某种重叠窗口函数填充所有缺失的值（在clickhouse中不支持它们）。因此，在可空字段聚合函数的情况下，将仅使用非空值，并且在非可空字段的情况下，将使用包括零值的所有值，并且两种方式都是不正确的。解决方法是在插入前使用带有anyLast值的select对行中的所有空值填充空值。

Answer 1

您可以像使用时间序列数据库一样使用Clickhouse。

您的表定义限制您拥有动态指标。这就是你试图处理NULL值的原因。

您可以将此表用于传感器值：

CREATE TABLE ts1(
    entity String,
    ts UInt64, -- timestamp, milliseconds from January 1 1970
    s Array(String), -- names of the sensors
    v Array(Float32), -- sensor values
    d Date MATERIALIZED toDate(round(ts/1000)), -- auto generate date from ts column
    dt DateTime MATERIALIZED toDateTime(round(ts/1000)) -- auto generate date time from ts column
) ENGINE = MergeTree(d, entity, 8192)

这里我们正在加载设备A的传感器值：

INSERT INTO ts1(entity, ts, s, v) 
VALUES ('deviceA', 1509232010254, ['temp','lat','long','speed'], [24, 54.111, 23.121, 11])

查询deviceA临时数据：

SELECT 
    entity, 
    dt, 
    ts, 
    v[indexOf(s, 'temp')] AS temp
FROM ts1 
WHERE entity = 'deviceA'

┌─entity─┬──────────────────dt─┬────────────ts─┬─temp─┐
│ deviceA│ 2017-10-28 23:06:50 │ 1509232010254 │  24  │
└────────┴─────────────────────┴───────────────┴──────┘

检查this full answer以获取详细用法。

在Clickhouse中存储传感器数据的最佳方法是什么？

1 个答案: