Elasticsearch正在使用每个文档太多的磁盘空间

时间:2016-06-03 14:55:41

标签: elasticsearch configuration diskspace

我正在使用 1.7 弹性搜索并尝试索引其中的文档。

有了23000个文档,我的索引大小是17Go ...这对于只有23K的文档而言似乎太大了(因为我的文档,在json中,大约是13ko)。

我的文档中有很多复合文档(13Ko适用于所有文档,doc +复合文档)。 我把_all保留在我的文档中(我需要它)。 我使用这个nGram tokeniser(可能2太低了?)

'min_gram' => 2,
'max_gram' => 20

添加到Elastic后,每个文档13Ko如何成为每个文档775Ko?

这是我的分片示例,我只编入 1K doc的索引:

dyb-fr_fr 4 p STARTED    7188 263.1mb 10.20.40.29 Doyoubuzz                                 
dyb-fr_fr 0 p STARTED    7675 258.6mb 10.20.40.29 Doyoubuzz 
dyb-fr_fr 3 p STARTED    7268 258.5mb 10.20.40.29 Doyoubuzz 
dyb-fr_fr 1 p STARTED    8560 300.1mb 10.20.40.29 Doyoubuzz 
dyb-fr_fr 2 p STARTED    7287 244.3mb 10.20.40.29 Doyoubuzz 

通过更深入的细分:

index     shard prirep ip          segment generation docs.count docs.deleted     size size.memory committed searchable version compound 
dyb-fr_fr 0     p      127.0.0.1 _2               2        291            0    9.7mb      173746 false     true       4.10.4  true     
dyb-fr_fr 0     p      127.0.0.1 _7               7         57            0    2.4mb       52650 false     true       4.10.4  true     
dyb-fr_fr 0     p      127.0.0.1 _d              13         43            0    2.8mb       71242 false     true       4.10.4  true     
dyb-fr_fr 0     p      127.0.0.1 _e              14        322            0   11.2mb      197706 false     true       4.10.4  true     
dyb-fr_fr 0     p      127.0.0.1 _f              15       1912            0   64.8mb      928522 false     true       4.10.4  false    
dyb-fr_fr 0     p      127.0.0.1 _k              20         64            0    1.4mb       43090 false     true       4.10.4  true     
dyb-fr_fr 0     p      127.0.0.1 _p              25         12            0  170.5kb       17794 false     true       4.10.4  true     
dyb-fr_fr 0     p      127.0.0.1 _t              29       1612            0   48.5mb      692322 false     true       4.10.4  false    
dyb-fr_fr 0     p      127.0.0.1 _y              34        228            0    6.9mb      128042 false     true       4.10.4  true     
dyb-fr_fr 0     p      127.0.0.1 _z              35        159            0    6.3mb      121266 false     true       4.10.4  true     
dyb-fr_fr 0     p      127.0.0.1 _13             39        232            0    6.4mb      125386 false     true       4.10.4  true     
dyb-fr_fr 0     p      127.0.0.1 _15             41        127            0    4.2mb       97738 false     true       4.10.4  true     
dyb-fr_fr 0     p      127.0.0.1 _16             42       1675            0   44.3mb      637266 false     true       4.10.4  false    
dyb-fr_fr 0     p      127.0.0.1 _17             43        203            0    4.3mb       92282 false     true       4.10.4  true     
dyb-fr_fr 0     p      127.0.0.1 _18             44        146            0    5.4mb      108730 false     true       4.10.4  true     
dyb-fr_fr 0     p      127.0.0.1 _19             45        236            0    6.3mb      115474 false     true       4.10.4  true     
dyb-fr_fr 0     p      127.0.0.1 _1a             46         63            0    2.1mb       52762 false     true       4.10.4  true     
dyb-fr_fr 0     p      127.0.0.1 _1b             47        118            0    4.2mb       88050 false     true       4.10.4  true     
dyb-fr_fr 0     p      127.0.0.1 _1c             48        175            0    5.4mb      105570 false     true       4.10.4  true     
dyb-fr_fr 1     p      127.0.0.1 _2               2         89            0      2mb       56578 false     true       4.10.4  true     
dyb-fr_fr 1     p      127.0.0.1 _7               7         49            0    1.9mb       49810 false     true       4.10.4  true     
dyb-fr_fr 1     p      127.0.0.1 _9               9        314            0   10.6mb      184426 false     true       4.10.4  true     
dyb-fr_fr 1     p      127.0.0.1 _b              11        139            0    2.7mb       66218 false     true       4.10.4  true     
dyb-fr_fr 1     p      127.0.0.1 _f              15       1634            0   63.3mb      916226 false     true       4.10.4  false    
dyb-fr_fr 1     p      127.0.0.1 _g              16         72            0    1.3mb       48850 false     true       4.10.4  true     
dyb-fr_fr 1     p      127.0.0.1 _n              23         67            0    2.1mb       56826 false     true       4.10.4  true     
dyb-fr_fr 1     p      127.0.0.1 _o              24         43            0 1009.2kb       32458 false     true       4.10.4  true     
dyb-fr_fr 1     p      127.0.0.1 _u              30       2097            0   55.2mb      770266 false     true       4.10.4  false    
dyb-fr_fr 1     p      127.0.0.1 _x              33         35            0  877.5kb       29978 false     true       4.10.4  true     
dyb-fr_fr 1     p      127.0.0.1 _12             38        114            0    1.9mb       46818 false     true       4.10.4  true     
dyb-fr_fr 1     p      127.0.0.1 _15             41        292            0    5.7mb      116850 false     true       4.10.4  true     
dyb-fr_fr 1     p      127.0.0.1 _16             42       2264            0   64.6mb      923826 false     true       4.10.4  false    
dyb-fr_fr 1     p      127.0.0.1 _17             43        193            0    5.4mb      110674 false     true       4.10.4  true     
dyb-fr_fr 1     p      127.0.0.1 _18             44         79            0    1.8mb       44858 false     true       4.10.4  true     
dyb-fr_fr 1     p      127.0.0.1 _19             45        198            0      7mb      136298 false     true       4.10.4  true     
dyb-fr_fr 1     p      127.0.0.1 _1a             46        170            0    5.7mb      118922 false     true       4.10.4  true     
dyb-fr_fr 1     p      127.0.0.1 _1b             47        173            0    6.8mb      130610 false     true       4.10.4  true     
dyb-fr_fr 1     p      127.0.0.1 _1c             48        162            0    3.7mb       79610 false     true       4.10.4  true     
dyb-fr_fr 1     p      127.0.0.1 _1d             49        205            0    7.2mb      130818 false     true       4.10.4  true     
dyb-fr_fr 1     p      127.0.0.1 _1e             50        171            0    5.5mb      117946 false     true       4.10.4  true     
dyb-fr_fr 2     p      127.0.0.1 _0               0        404            0     16mb      270562 true      true       4.10.4  true     
dyb-fr_fr 2     p      127.0.0.1 _4               4         67            0    1.4mb           0 true      false      4.10.4  true     
dyb-fr_fr 2     p      127.0.0.1 _b              11         12            0  168.7kb           0 true      false      4.10.4  true     
dyb-fr_fr 2     p      127.0.0.1 _f              15         24            0  245.3kb           0 true      false      4.10.4  true     
dyb-fr_fr 2     p      127.0.0.1 _g              16       2003            0   57.6mb      808882 true      true       4.10.4  false    
dyb-fr_fr 2     p      127.0.0.1 _j              19         67            0    3.4mb           0 true      false      4.10.4  true     
dyb-fr_fr 2     p      127.0.0.1 _l              21        100            0      2mb           0 true      false      4.10.4  true     
dyb-fr_fr 2     p      127.0.0.1 _o              24        136            0    3.4mb           0 true      false      4.10.4  true     
dyb-fr_fr 2     p      127.0.0.1 _s              28         28            0  396.9kb           0 true      false      4.10.4  true     
dyb-fr_fr 2     p      127.0.0.1 _t              29       2149            0   57.6mb      822498 true      true       4.10.4  false    
dyb-fr_fr 2     p      127.0.0.1 _u              30        171            0    5.7mb           0 true      false      4.10.4  true     
dyb-fr_fr 2     p      127.0.0.1 _v              31        144            0      7mb           0 true      false      4.10.4  true     
dyb-fr_fr 2     p      127.0.0.1 _w              32        123            0    2.7mb           0 true      false      4.10.4  true     
dyb-fr_fr 2     p      127.0.0.1 _x              33        147            0    6.2mb           0 true      false      4.10.4  true     
dyb-fr_fr 2     p      127.0.0.1 _y              34        129            0    4.3mb           0 true      false      4.10.4  true     
dyb-fr_fr 2     p      127.0.0.1 _13             39         32            0    1.8mb       44994 false     true       4.10.4  true     
dyb-fr_fr 2     p      127.0.0.1 _14             40        614            0     14mb      233474 false     true       4.10.4  true     
dyb-fr_fr 2     p      127.0.0.1 _1f             51         44            0  676.9kb       26306 false     true       4.10.4  true     
dyb-fr_fr 2     p      127.0.0.1 _1g             52         42            0    1.3mb       35514 false     true       4.10.4  true     
dyb-fr_fr 2     p      127.0.0.1 _1h             53         10            0  226.5kb       19578 false     true       4.10.4  true     
dyb-fr_fr 2     p      127.0.0.1 _1j             55         30            0    1.1mb       43706 false     true       4.10.4  true     
dyb-fr_fr 2     p      127.0.0.1 _1k             56         53            0    1.1mb       42610 false     true       4.10.4  true     
dyb-fr_fr 2     p      127.0.0.1 _1o             60        234            0    5.7mb      113986 false     true       4.10.4  true     
dyb-fr_fr 2     p      127.0.0.1 _1p             61       1366            0     43mb      626498 false     true       4.10.4  false    
dyb-fr_fr 2     p      127.0.0.1 _1q             62          5            0  118.6kb       13162 false     true       4.10.4  true     
dyb-fr_fr 2     p      127.0.0.1 _1r             63         78            0    7.7mb      144554 false     true       4.10.4  true     
dyb-fr_fr 2     p      127.0.0.1 _1s             64        213            0    5.4mb      112610 false     true       4.10.4  true     
dyb-fr_fr 2     p      127.0.0.1 _1t             65         10            0    314kb       18122 false     true       4.10.4  true     
dyb-fr_fr 3     p      127.0.0.1 _e              14       1873            0   63.9mb      915586 true      true       4.10.4  false    
dyb-fr_fr 3     p      127.0.0.1 _g              16         75            0    1.6mb       40210 true      true       4.10.4  true     
dyb-fr_fr 3     p      127.0.0.1 _k              20         20            0  242.4kb       20426 true      true       4.10.4  true     
dyb-fr_fr 3     p      127.0.0.1 _o              24         74            0    2.1mb       58242 true      true       4.10.4  true     
dyb-fr_fr 3     p      127.0.0.1 _p              25         13            0  324.8kb       22514 true      true       4.10.4  true     
dyb-fr_fr 3     p      127.0.0.1 _s              28       1770            0   44.1mb      636786 true      true       4.10.4  false    
dyb-fr_fr 3     p      127.0.0.1 _t              29        268            0    9.5mb      171306 true      true       4.10.4  true     
dyb-fr_fr 3     p      127.0.0.1 _u              30         26            0  837.3kb       27474 true      true       4.10.4  true     
dyb-fr_fr 3     p      127.0.0.1 _v              31         50            0      3mb       73322 true      true       4.10.4  true     
dyb-fr_fr 3     p      127.0.0.1 _10             36         78            0    2.6mb       69178 true      true       4.10.4  true     
dyb-fr_fr 3     p      127.0.0.1 _14             40        306            0    6.7mb      129666 true      true       4.10.4  true     
dyb-fr_fr 3     p      127.0.0.1 _15             41       1751            0   58.8mb      849858 true      true       4.10.4  false    
dyb-fr_fr 3     p      127.0.0.1 _16             42        138            0    6.3mb      134242 true      true       4.10.4  true     
dyb-fr_fr 3     p      127.0.0.1 _17             43         37            0  512.7kb       24842 true      true       4.10.4  true     
dyb-fr_fr 3     p      127.0.0.1 _18             44         58            0    1.7mb       52410 true      true       4.10.4  true     
dyb-fr_fr 3     p      127.0.0.1 _19             45        286            0    5.3mb       99234 true      true       4.10.4  true     
dyb-fr_fr 3     p      127.0.0.1 _1a             46        202            0    7.3mb      132914 true      true       4.10.4  true     
dyb-fr_fr 3     p      127.0.0.1 _1b             47         53            0    1.6mb       43634 true      true       4.10.4  true     
dyb-fr_fr 3     p      127.0.0.1 _1c             48        111            0    3.9mb       88362 true      true       4.10.4  true     
dyb-fr_fr 3     p      127.0.0.1 _1d             49         79            0    1.1mb       33410 true      true       4.10.4  true     
dyb-fr_fr 4     p      127.0.0.1 _4               4         66            0    1.6mb       41970 true      true       4.10.4  true     
dyb-fr_fr 4     p      127.0.0.1 _a              10         66            0      1mb       43786 true      true       4.10.4  true     
dyb-fr_fr 4     p      127.0.0.1 _c              12        269            0   17.4mb      296738 true      true       4.10.4  true     
dyb-fr_fr 4     p      127.0.0.1 _e              14         53            0    1.1mb       33954 true      true       4.10.4  true     
dyb-fr_fr 4     p      127.0.0.1 _f              15       2099            0   62.3mb      866978 true      true       4.10.4  false    
dyb-fr_fr 4     p      127.0.0.1 _k              20         52            0      1mb       42882 true      true       4.10.4  true     
dyb-fr_fr 4     p      127.0.0.1 _r              27         71            0    2.4mb       51186 true      true       4.10.4  true     
dyb-fr_fr 4     p      127.0.0.1 _s              28       2016            0   48.8mb      689106 true      true       4.10.4  false    
dyb-fr_fr 4     p      127.0.0.1 _x              33         36            0    1.6mb       48210 true      true       4.10.4  true     
dyb-fr_fr 4     p      127.0.0.1 _10             36        247            0    2.8mb       56842 true      true       4.10.4  true     
dyb-fr_fr 4     p      127.0.0.1 _12             38        258            0   10.9mb      189882 true      true       4.10.4  true     
dyb-fr_fr 4     p      127.0.0.1 _15             41          5            0  145.7kb       13386 true      true       4.10.4  true     
dyb-fr_fr 4     p      127.0.0.1 _16             42       1950            0   53.3mb      749626 true      true       4.10.4  false

1 个答案:

答案 0 :(得分:2)

ngrams正在生产大量代币。

如果您索引" abcdef",您将实际编入索引:

AB,BC,CD,DE,EF,ABC,BCD,CDE,DEF,ABCD,BCDE,CDEF,ABCDE,BCDEF,ABCDEF

如果你因为组合爆炸而拥有非常大的字符串,那就更糟了。