弹性搜索中的文档索引,JAVA API

时间:2015-06-19 07:40:36

标签: java elasticsearch-plugin elasticsearch

我们使用弹性搜索java API索引简历文档。它工作正常。当我们搜索关键字时,它会返回具有该关键字的准确响应(文档)。

但我们想深入索引文档。例如,简历有“技能”和“技能月”。技能月份可能是13个月的文件。因此我在弹性搜索查询中搜索该技能并在10到15个月之间设置技能月,然后我们想要该记录(文档)。

我们怎么做?

以下是索引的代码: -

IndexResponse response = client
                        .prepareIndex(userName, document.getType(),
                                document.getId())
                        .setSource(extractDocument(document)).execute()
                        .actionGet(); 

    public XContentBuilder extractDocument(Document document) throws IOException, NoSuchAlgorithmException {
        // Extracting content with Tika
        int indexedChars = 100000;
        Metadata metadata = new Metadata();

        String parsedContent;
        try {
            // Set the maximum length of strings returned by the parseToString method, -1 sets no limit
            parsedContent = tika().parseToString(new BytesStreamInput(
                Base64.decode(document.getContent().getBytes()), false), metadata, indexedChars);
        } catch (Throwable e) {
            logger.debug("Failed to extract [" + indexedChars + "] characters of text for [" + document.getName() + "]", e);
            System.out.println("Failed to extract [" + indexedChars + "] characters of text for [" + document.getName() + "]" +e);
            parsedContent = "";
        }

        XContentBuilder source = jsonBuilder().startObject();

        if (logger.isTraceEnabled()) {
            source.prettyPrint();
        }

        // File
        source
            .startObject(FsRiverUtil.Doc.FILE)
            .field(FsRiverUtil.Doc.File.FILENAME, document.getName())
            .field(FsRiverUtil.Doc.File.LAST_MODIFIED, new Date())
            .field(FsRiverUtil.Doc.File.INDEXING_DATE, new Date())
            .field(FsRiverUtil.Doc.File.CONTENT_TYPE, document.getContentType() != null ? document.getContentType() : metadata.get(Metadata.CONTENT_TYPE))
            .field(FsRiverUtil.Doc.File.URL, "file://" + (new File(".", document.getName())).toString());

        if (metadata.get(Metadata.CONTENT_LENGTH) != null) {
            // We try to get CONTENT_LENGTH from Tika first
            source.field(FsRiverUtil.Doc.File.FILESIZE, metadata.get(Metadata.CONTENT_LENGTH));
        } else {
            // Otherwise, we use our byte[] length
            source.field(FsRiverUtil.Doc.File.FILESIZE, Base64.decode(document.getContent().getBytes()).length);
        }
        source.endObject(); // File

        // Path
        source
            .startObject(FsRiverUtil.Doc.PATH)
            .field(FsRiverUtil.Doc.Path.ENCODED, SignTool.sign("."))
            .field(FsRiverUtil.Doc.Path.ROOT, ".")
            .field(FsRiverUtil.Doc.Path.VIRTUAL, ".")
            .field(FsRiverUtil.Doc.Path.REAL, (new File(".", document.getName())).toString())
            .endObject(); // Path

        // Meta
        source
            .startObject(FsRiverUtil.Doc.META)
            .field(FsRiverUtil.Doc.Meta.AUTHOR, metadata.get(Metadata.AUTHOR))
            .field(FsRiverUtil.Doc.Meta.TITLE, metadata.get(Metadata.TITLE) != null ? metadata.get(Metadata.TITLE) : document.getName())
            .field(FsRiverUtil.Doc.Meta.DATE, metadata.get(Metadata.DATE))
            .array(FsRiverUtil.Doc.Meta.KEYWORDS, Strings.commaDelimitedListToStringArray(metadata.get(Metadata.KEYWORDS)))
            .endObject(); // Meta


        // Doc content
        source.field(FsRiverUtil.Doc.CONTENT, parsedContent);

        // Doc as binary attachment
        source.field(FsRiverUtil.Doc.ATTACHMENT, document.getContent());

        // End of our document
        source.endObject();

        return source;
        }

下面的代码用于获取回复:

QueryBuilder qb;
        if (query == null || query.trim().length() <= 0) {
            qb = QueryBuilders.matchAllQuery();
        } else {
            qb = QueryBuilders.queryString(query);//query is a name or string
        }
org.elasticsearch.action.search.SearchResponse searchHits =  node.client()
                .prepareSearch()
                .setIndices("ankur")
                .setQuery(qb)
                .setFrom(0).setSize(1000)
                .addHighlightedField("file.filename")
                .addHighlightedField("content")
                .addHighlightedField("meta.title")
                .setHighlighterPreTags("<span class='badge badge-info'>")
                .setHighlighterPostTags("</span>")
                .addFields("*", "_source")
                .execute().actionGet();

1 个答案:

答案 0 :(得分:0)

默认情况下,所有列都使用弹性搜索索引来提供更好的搜索功能。在将JSON文档放在某种类型之前,定义映射会很棒(参考:https://www.elastic.co/guide/en/elasticsearch/guide/current/mapping-analysis.html

如果要按精确关键字搜索数据,可能需要通过不分析跳过特定列。在索引文档时,将分析列值,然后对其进行索引。你可以强制Elastic说“not_analyzed”。然后,您的列值将按原样编制索引。这样您就可以获得更好的搜索结果。

对于定义JSON文档的另一部分,如果使用某个库来定义JSON,那将是一件好事。我更喜欢Jackson库来解析JSON文档。这将减少项目中的代码行。