Elasticsearch:自动指数删除/到期

时间:2012-12-11 13:36:34

标签: indexing elasticsearch logstash

我想配置我的elasticsearch 0.19.11每60秒删除一次索引。我的elasticsearch配置有以下3行:

node.name: "Saurajeet"
index.ttl.disable_purge: false
index.ttl.interval: 60s
indices.ttl.interval: 60s

它不起作用 我有2个索引的默认文档。并希望它能追溯到60年代之后

$ curl -XGET http://localhost:9200/twitter/_settings?pretty=true
{
  "twitter" : {
    "settings" : {
      "index.version.created" : "191199",
      "index.number_of_replicas" : "1",
      "index.number_of_shards" : "5"
    }
}

此外,如果我尝试执行以下操作,则不会产生任何影响

$ curl -XPUT http://localhost:9200/twitter/_settings -d '
> { "twitter": {
>     "settings" : {
>       "index.ttl.interval": "60s"
>    }
>  }
> }
> '
{"ok":true}~/bin/elasticsearc
$ curl -XGET http://localhost:9200/twitter/_settings?pretty=true
{
  "twitter" : {
    "settings" : {
      "index.version.created" : "191199",
      "index.number_of_replicas" : "1",
      "index.number_of_shards" : "5"
    }
  }
}

我有2个文件的索引,1小时后它仍然显示

$ curl -XPUT 'http://localhost:9200/twitter/tweet/1' -d '
{ 
    "user": "kimchy", 
    "postDate": "2009-11-15T13:12:00", 
    "message": "Trying out Elastic Search, so far so good?" 
}'
$ curl -XPUT 'http://localhost:9200/twitter/tweet/2' -d '
{ 
    "user": "kimchy", 
    "postDate": "2009-11-15T13:12:00", 
    "message": "Trying out Elastic Search, so far so good?" 
}'

我做错了什么

P.S。我想用logstash部署这个配置。因此可以建议任何其他替代方案。 出于缩放的原因,我不希望这个自动清除是一个脚本。

2 个答案:

答案 0 :(得分:7)

我相信indices.ttl.interval设置只是为了调整清理过程的时间。

您需要为索引/类型设置_ttl字段才能使其过期。它看起来像这样:

{
    "tweet" : {
        "_ttl" : { "enabled" : true, "default" : "60s" }
    }
}

http://www.elasticsearch.org/guide/reference/mapping/ttl-field/

答案 1 :(得分:1)

终于想通了自己。将elasticsearch版本升级到1.2.0。您可以从Mapping API输入TTL。 - > Put Mapping - > TTL

在索引上的类型级别启用TTL

$ curl -XPOST http://localhost:9200/abc/a/_mapping -d '
{
    "a": {
      "_ttl": {
        "enabled": true,
        "default": "10000ms"
      }
    }
}'

$ curl -XPOST http://localhost:9200/abc/a/a1 -d '{"test": "true"}'
$ $ curl -XGET http://localhost:9200/abc/a/a1?pretty
{
  "_index" : "abc",
  "_type" : "a",
  "_id" : "a1",
  "_version" : 1,
  "found" : true,
  "_source":{"test": "true"}
}
$ # After 10s
$ curl -XGET http://localhost:9200/abc/a/a1?pretty
{
  "_index" : "abc",
  "_type" : "a",
  "_id" : "a1",
  "found" : false
}

注意:

  • 映射适用于创建映射后创建的文档。
  • 还为类型a创建了映射。所以,如果你发布到类型b和 期待它在TTL上过期,那不会发生。

如果需要使索引过期,还可以在create index期间创建索引级别映射,以从应用程序逻辑中预先创建索引。