Question

我有一个场景，我有两个非常相似的输入格式，但我需要一个Jolt规范来一致地处理这两种格式。

这是输入样式1 ：

{
    "creationTime": 1503999158000,
    "device": {
        "ip": "155.157.36.226",
        "hostname": "server-123.example.int"
    }
}

这是输入样式2 ：

{
    "creationTime": 1503999158000,
    "device": {
        "ip6": "2001::face",
        "hostname": "server-123.example.int"
    }
}

唯一的区别是样式1 使用device.ip，样式2 使用device.ip6。这些领域总会有一个或两个领域，但绝不会两个领域。

我想简单地提取以下内容：

{
    "created_ts": 1503999158000,
    "src_ip_addr": "....."
}

我需要将src_ip_addr设置为ip和ip6中出现的任何字段。如果源数据中不存在任何字段，则该值应默认为null。

单个Jolt规格是否可以实现？

Answer 1

包含两个操作的单个规范。

规格

[
  {
    "operation": "shift",
    "spec": {
      "creationTime": "created_ts",
      "device": {
        // map ip or ip6 to src_ip_addr
        "ip|ip6": "src_ip_addr"
      }
    }
  },
  {
    "operation": "default",
    "spec": {
      // if src_ip_addr does not exist, then apply a default of null
      "src_ip_addr": null
    }
  }
]

Answer 2

我尝试了以下内容，它符合我的要求：

[
  {
    "operation": "shift",
    "spec": {
      "creationTime": "created_ts",
      "device": {
        // map both to src_ip_addr, whichever one is present will be used
        "ip": "src_ip_addr",
        "ip6": "src_ip_addr"
      }
    }
  },
  {
    "operation": "default",
    "spec": {
      "src_ip_addr": null
    }
  }
]

Jolt规范条件存在的字段

2 个答案: