Lucene 学习(二):使用IK Analyzer中文分词
lucene java 全文检索 中文分词    2017-07-19 20:50:21    3   
如上一篇所说,Lucene原生功能很强大,但是很遗憾的是,Lucene官方却不支持中文分词,所以需要其他插件辅助,这里我选择使用IK Analyzer进行中文分词。

中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。我们知道,在英文的行文中,单词之间是以空格作为自然分界符的,而中文只是字、句和段能通过明显的分界符来简单划界,唯独词没有一个形式上的分界符,虽然英文也同样存在短语的划分问题,不过在词这一层上,中文比之英文要复杂的多、困难的多。

各中文分词插件比较:http://blog.csdn.net/chs_jdmdr/article/details/7359773

注意,IK Analyzer需要使用其下载列表中的 IK Analyzer 2012FF_hf1.zip,否则在和Lucene 4.10配合使用时会报错。


文件地址:http://pan.baidu.com/s/1hrXIeQ4

下载的包中没有源码,所以只使用了jar包,测试没有问题

代码摘自如下链接并略作修改:http://my.oschina.net/letiantian/blog/323887

import java.io.IOException;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.StringField;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.queryparser.classic.ParseException;
import org.apache.lucene.queryparser.classic.QueryParser;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.RAMDirectory;
import org.apache.lucene.util.Version;
import org.wltea.analyzer.lucene.IKAnalyzer;

public class IKAnalyzerDemo {

    /**
     * @param args
     * @throws IOException
     */
    public static void main(String[] args) throws IOException {
        // TODO Auto-generated method stub
        //建立索引
        String text1 = "IK Analyzer是一个结合词典分词和文法分词的中文分词开源工具包。它使用了全新的正向迭代最细粒度切" +
                "分算法。";
        String text2 = "中文分词工具包可以和lucene是一起使用的";
        String text3 = "中文分词,你妹";
        String fieldName = "contents";
        Analyzer analyzer = new IKAnalyzer();
        RAMDirectory directory = new RAMDirectory();
        IndexWriterConfig writerConfig = new IndexWriterConfig(Version.LATEST, analyzer);
        IndexWriter indexWriter = new IndexWriter(directory, writerConfig);
        Document document1 = new Document();
        document1.add(new StringField("ID", "1", Field.Store.YES));
        document1.add(new StringField(fieldName, text1, Field.Store.YES));
        indexWriter.addDocument(document1);

        Document document2 = new Document();
        document2.add(new StringField("ID", "2", Field.Store.YES));
        document2.add(new TextField(fieldName, text2, Field.Store.YES));
        indexWriter.addDocument(document2);

        Document document3 = new Document();
        document3.add(new StringField("ID", "2", Field.Store.YES));
        document3.add(new TextField(fieldName, text3, Field.Store.YES));
        indexWriter.addDocument(document3);
        indexWriter.close();

        //搜索
        DirectoryReader indexReader = DirectoryReader.open(directory);
        IndexSearcher searcher = new IndexSearcher(indexReader);
        String request = "中文分词";
        QueryParser parser = new QueryParser(fieldName, analyzer);
        parser.setDefaultOperator(QueryParser.AND_OPERATOR);
        try {
            Query query = parser.parse(request);
            TopDocs topDocs = searcher.search(query, 5);
            System.out.println("命中数:"+topDocs.totalHits);
            ScoreDoc[] docs = topDocs.scoreDocs;
            for(ScoreDoc doc : docs){
                Document d = searcher.doc(doc.doc);
                System.out.println("内容:"+d.get(fieldName));
            }
        } catch (ParseException e) {
            e.printStackTrace();
        }finally{
            if(indexReader != null){
                try{
                    indexReader.close();
                }catch (IOException e) {
                    e.printStackTrace();
                }
            }

            if(directory != null){
                try{
                    directory.close();
                }catch (Exception e) {
                    e.printStackTrace();
                }
            }
        }

    }

}

 

by 刘迎光@萤火虫工作室 
OpenBI交流群:495266201 
MicroService 微服务交流群:217722918 
mail: liuyg#liuyingguang.cn 
博主首页(==防止爬虫==):http://blog.liuyingguang.cn

Pre: Lucene 学习(一):简单demo

Next: Lucene 学习(三):在一个(或者多个)字段中查找多个关键字


Table of content