lucene 学习之编码篇

本文环境：lucene5.2     JDK1.7   IKAnalyzer

引入lucene相关包

<!-- lucene核心包 -->

    <dependency>

        <groupId>org.apache.lucene</groupId>

        <artifactId>lucene-core</artifactId>

        <version>5.2.0</version>

    </dependency>

      <!-- 查询解析器 -->

    <dependency>

        <groupId>org.apache.lucene</groupId>

        <artifactId>lucene-queryparser</artifactId>

        <version>5.2.0</version>

    </dependency>

      <!-- 分词器 -->

    <dependency>

        <groupId>org.apache.lucene</groupId>

        <artifactId>lucene-analyzers-common</artifactId>

        <version>5.2.0</version>

    </dependency>

开发中依赖的包

<!-- https://mvnrepository.com/artifact/commons-io/commons-io -->

    <dependency>

        <groupId>commons-io</groupId>

        <artifactId>commons-io</artifactId>

        <version>2.4</version>

    </dependency>

    <!-- https://mvnrepository.com/artifact/junit/junit -->

    <dependency>

        <groupId>junit</groupId>

        <artifactId>junit</artifactId>

        <version>4.10</version>

    </dependency>

一、创建索引

1、确定索引库的位置

a、将索引库存入本地磁盘

FSDirectory dir=FSDirectory.open(path);

b、将索引存入内存

Directory directory = new RAMDirectory();

2、创建分词器

//创建分词器

        Analyzer al=new StandardAnalyzer();

lucene内置有四个分析器：WhitespaceAnalyzer、SimpleAnalyzer、StopAnalyser、StandardAnalyzer

3、创建IndexWriter，进行索引文件的写入。

//创建索引的写入配置对象

        IndexWriterConfig iwc= new IndexWriterConfig(al);

        //创建索引的Writer

        IndexWriter iw=new IndexWriter(dir, iwc);

4、创建文档 创建域将内容提取并进行索引的存储

//创建文档

            Document doc=new Document();

            //创建域 （域是键值对的数据结构）Store.YES：将该值存储到索引库

            Field fieldName=new TextField("fieldName","xs.txt",Store.YES);

            Field fieldContent=new TextField("fieldContent","san guo yan yi",Store.YES);

            Field fieldsize=new LongField("fieldSize",10324,Store.YES);

            Field fieldPath=new TextField("fieldPath","F:/xs/sg/xs.txt",Store.YES);

            //将域加入文档中

            doc.add(fieldName);

            doc.add(fieldContent);

            doc.add(fieldsize);

            doc.add(fieldPath);

            //把文档写入索引库

            iw.addDocument(doc);

Field域的3各重要属性：

a、是否分析

　　将field值按照指定的分词器进行分析出相应的语汇单元，将词进行索引。例如：博文标题、博文作者、博文描述、博文内容 ，这些都应该建立索引

b、是否索引

　　对field分析后的词或整个field值进行索引，只有建立索引的field才能被搜索

c、是否存储（Store.YES：表示存储   Store.NO:表示不存储）

　　将field值存储在文档中，只有存储在文档中的field才可以从Document中取出。（一般对于内容较大的field不建立存储）

常用Field域的类型：

5、提交，并关闭资源

//提交

        iw.commit();

        iw.close();

完整代码：

 @Test

     public void ImportIndex() throws IOException {

         //获得索引库路径

         Path path=Paths.get("E:\\test\\luceneWI");

         //打开索引库

         FSDirectory dir=FSDirectory.open(path);

         //创建分词器

         Analyzer al=new StandardAnalyzer();

         //创建索引的写入配置对象

         IndexWriterConfig iwc= new IndexWriterConfig(al);

         //创建索引的Writer

         IndexWriter iw=new IndexWriter(dir, iwc);

         //采集原始文档

         File sourceFile=new File("E:\\test\\lucene");

         //获取该文件下所有的文件

         File [] files=sourceFile.listFiles();

         //遍历每一个文件

         for(File file:files){

             //获取文件属性

             String fileName=file.getName();

             String content=FileUtils.readFileToString(file);

             long size=FileUtils.sizeOf(file);

             String sourcePath=file.getPath();

             //创建文档

             Document doc=new Document();

             //创建域 （域是键值对的数据结构）Store.YES：将该值存储到索引库

             Field fieldName=new TextField("fieldName",fileName,Store.YES);

             Field fieldContent=new TextField("fieldContent",content,Store.YES);

             Field fieldsize=new LongField("fieldSize",size,Store.YES);

             Field fieldPath=new TextField("fieldPath",sourcePath,Store.NO);

             //将域加入文档中

             doc.add(fieldName);

             doc.add(fieldContent);

             doc.add(fieldsize);

             doc.add(fieldPath);

             //把文档写入索引库

             iw.addDocument(doc);

         }

         //提交

         iw.commit();

         iw.close();

     }

执行结果查看索引库

我们使用 luke可以查看索引库的具体信息luke-5.3.0-luke-release

二、添加索引

添加前我们的索引库中有7各文档

现在我们要新加一条文档

@Test

    public void addIndex() throws IOException {

        //获得索引库路径

        Path path=Paths.get("E:\\test\\luceneWI");

        //打开索引库

        FSDirectory dir=FSDirectory.open(path);

        //创建分词器

        Analyzer al=new IKAnalyzer();

        //创建索引的写入配置对象

        IndexWriterConfig iwc= new IndexWriterConfig(al);

        //创建索引的Writer

        IndexWriter iw=new IndexWriter(dir, iwc);

        //新建一个文件 china.txt

        File file=new File("E:\\test\\lucene\\china.txt");

        String fileName=file.getName();

        String content=FileUtils.readFileToString(file);

        long size=FileUtils.sizeOf(file);

        String sourcePath=file.getPath();

        //创建域 （域时键值对的数据结构）Store.YES：在索引库中是否以存储的形式存在

        Field fieldName=new TextField("fieldName",fileName,Store.YES);

        Field fieldContent=new TextField("fieldContent",content,Store.YES);

        Field fieldsize=new LongField("fieldSize",size,Store.YES);

        Field fieldPath=new TextField("fieldPath",sourcePath,Store.YES);

        //创建文档

        Document doc=new Document();

        //将域加入文档中

        doc.add(fieldName);

        doc.add(fieldContent);

        doc.add(fieldPath);

        doc.add(fieldsize);

        //把文档写入索引库

        iw.addDocument(doc);

        iw.commit();

        iw.close();

    }

执行后

三、删除索引

1、删除所有

@Test

    public void deleteIndexAll() throws IOException {

        //获得索引库路径

        Path path=Paths.get("E:\\test\\luceneWI");

        //打开索引库

        FSDirectory dir=FSDirectory.open(path);

        //创建分词器

        Analyzer al=new IKAnalyzer();

        //创建索引的写入配置对象

        IndexWriterConfig iwc= new IndexWriterConfig(al);

        //创建索引的Writer

        IndexWriter iw=new IndexWriter(dir, iwc);

        iw.deleteAll();//删除所有

        iw.commit();//提交

        iw.close();//关闭资源

    }

2、按照条件删除

@Test

    public void deleteIndexAllQuery() throws IOException {

        //获得索引库路径

        Path path=Paths.get("E:\\test\\luceneWI");

        //打开索引库

        FSDirectory dir=FSDirectory.open(path);

        //创建分词器

        Analyzer al=new IKAnalyzer();

        //创建索引的写入配置对象

        IndexWriterConfig iwc= new IndexWriterConfig(al);

        //创建索引的Writer

        IndexWriter iw=new IndexWriter(dir, iwc);

        //创建语汇单元

        Term term=new Term("fieldName","china");// 要删除的document中包含的语汇单元

        //创建根据语汇单元的查询对象

        Query query=new TermQuery(term);

        iw.deleteDocuments(query);

        iw.commit();//提交

        iw.close();//关闭资源

    }

四、查询

1、分词语汇单元查询

@Test

    public void QueryIndexAll() throws IOException {

        //获得索引库路径

        Path path=Paths.get("E:\\test\\luceneWI");

        //打开索引库

        FSDirectory dir=FSDirectory.open(path);

        //创建索引库的读取对象

        DirectoryReader reader=DirectoryReader.open(dir);

        //创建索引库的搜索对象

        IndexSearcher is=new IndexSearcher(reader);

        //创建语汇单元

        Term term=new Term("fieldName","license");// 要删除的document中包含的语汇单元

        //创建根据语汇单元的查询对象

        TermQuery tq=new TermQuery(term);

        TopDocs result=is.search(tq, 10);//查询前10条

        int totalHits=result.totalHits;//获取总记录数

        System.out.println("totalHits:"+totalHits);

        //获取文档列表

        ScoreDoc[] sd=result.scoreDocs;

        for(ScoreDoc sc:sd){

            int id=sc.doc;//获取文档ID

            Document doc=is.doc(id);//获取文档

            String fieldName=doc.get("fieldName");

            String fieldContent=doc.get("fieldContent");

            String fieldSize=doc.get("fieldSize");

            String fieldPath=doc.get("fieldPath");

            System.out.println("fieldName:"+fieldName);

            System.out.println("fieldContent:"+fieldContent);

            System.out.println("fieldSize:"+fieldSize);

            System.out.println("fieldPath:"+fieldPath);

        }

    }

2、数值范围查询

@Test

    public void queryIndexNumberAll() throws IOException {

        //获得索引库路径

        Path path=Paths.get("E:\\test\\luceneWI");

        //打开索引库

        FSDirectory dir=FSDirectory.open(path);

        //创建索引库的读取对象

        DirectoryReader reader=DirectoryReader.open(dir);

        //创建索引库的搜索对象

        IndexSearcher is=new IndexSearcher(reader);

        //创建数值查询对象

        Query tq=NumericRangeQuery.newLongRange("fieldSize", 0L, 100L, true, true);

        System.out.println("打印查询对象:"+tq);//打印查询对象:fieldSize:[0 TO 100]

        TopDocs result=is.search(tq, 10);//查询前10条

        int totalHits=result.totalHits;//获取总记录数

        System.out.println("totalHits:"+totalHits);

        //获取文档列表

        ScoreDoc[] sd=result.scoreDocs;

        for(ScoreDoc sc:sd){

            int id=sc.doc;//获取文档ID

            Document doc=is.doc(id);//获取文档

            String fieldName=doc.get("fieldName");

            String fieldContent=doc.get("fieldContent");

            String fieldSize=doc.get("fieldSize");

            String fieldPath=doc.get("fieldPath");

            System.out.println("fieldName:"+fieldName);

            System.out.println("fieldContent:"+fieldContent);

            System.out.println("fieldSize:"+fieldSize);

            System.out.println("fieldPath:"+fieldPath);

        }

    }

3、多查询对象联合查询

    @Test

    public void bqqueryIndexNumberAll() throws IOException {

        //获得索引库路径

        Path path=Paths.get("E:\\test\\luceneWI");

        //打开索引库

        FSDirectory dir=FSDirectory.open(path);

        //创建索引库的读取对象

        DirectoryReader reader=DirectoryReader.open(dir);

        //创建索引库的搜索对象

        IndexSearcher is=new IndexSearcher(reader);

        //创建多条件查询对象,通过控制& 或者| 或者 ! 来组合查询条件

        BooleanQuery tq=new BooleanQuery();

        //创建分词语汇查询对象

        Query query1=new TermQuery(new Term("fieldName","china"));

        Query query2=new TermQuery(new Term("fieldContent","china"));

        Query query3=NumericRangeQuery.newLongRange("fieldSize", 0L, 100L, true, true);

        //通过BooleanQuery 控制 两个查询条件的关系

        tq.add(query1,Occur.MUST);

        tq.add(query2,Occur.MUST); //Occur.MUST 同时满足  Occur.SHOULD: 可以满足可以不满足 Occur.MUST_NOT:不能满足

        tq.add(query3,Occur.MUST);

         System.out.println("bq:"+tq);//bq:+fieldName:china +fieldContent:china ( 表示 必须同时满足两个条件)

        TopDocs result=is.search(tq, 10);//查询前10条

        int totalHits=result.totalHits;//获取总记录数

        System.out.println("totalHits:"+totalHits);

        //获取文档列表

        ScoreDoc[] sd=result.scoreDocs;

        for(ScoreDoc sc:sd){

            int id=sc.doc;//获取文档ID

            Document doc=is.doc(id);//获取文档

            String fieldName=doc.get("fieldName");

            String fieldContent=doc.get("fieldContent");

            String fieldSize=doc.get("fieldSize");

            String fieldPath=doc.get("fieldPath");

            System.out.println("fieldName:"+fieldName);

            System.out.println("fieldContent:"+fieldContent);

            System.out.println("fieldSize:"+fieldSize);

            System.out.println("fieldPath:"+fieldPath);

        }

    }

4、解析查询

QueryParser 对查询条件进行分词查询

    @Test

    public void queryParserIndexAll() throws  Exception {

        //获得索引库路径

        Path path=Paths.get("E:\\test\\luceneWI");

        //打开索引库

        FSDirectory dir=FSDirectory.open(path);

        //创建索引库的读取对象

        DirectoryReader reader=DirectoryReader.open(dir);

        //创建索引库的搜索对象

        IndexSearcher is=new IndexSearcher(reader);

        //创建查询解析对象

        QueryParser qp=new QueryParser("fieldName", new IKAnalyzer());//分词器要与创建索引的一样

        //通过QueryParser解析查询对象

        Query tq=qp.parse("爱我china");//单个查询条件

    //    Query tq=qp.parse("fieldName:爱我   OR fieldContent:china");//多个查询条件  OR /AND

         System.out.println("tq:"+tq);//tq:fieldName:爱我 fieldName:我 fieldName:china (进行分词了)

        TopDocs result=is.search(tq, 10);//查询前10条

        int totalHits=result.totalHits;//获取总记录数

        System.out.println("totalHits:"+totalHits);

        //获取文档列表

        ScoreDoc[] sd=result.scoreDocs;

        for(ScoreDoc sc:sd){

            int id=sc.doc;//获取文档ID

            Document doc=is.doc(id);//获取文档

            String fieldName=doc.get("fieldName");

            String fieldContent=doc.get("fieldContent");

            String fieldSize=doc.get("fieldSize");

            String fieldPath=doc.get("fieldPath");

            System.out.println("fieldName:"+fieldName);

            System.out.println("fieldContent:"+fieldContent);

            System.out.println("fieldSize:"+fieldSize);

            System.out.println("fieldPath:"+fieldPath);

        }

    }

5、多域解析查询

@Test

    public void queryManyParserIndexAll() throws  Exception {

        //获得索引库路径

        Path path=Paths.get("E:\\test\\luceneWI");

        //打开索引库

        FSDirectory dir=FSDirectory.open(path);

        //创建索引库的读取对象

        DirectoryReader reader=DirectoryReader.open(dir);

        //创建索引库的搜索对象

        IndexSearcher is=new IndexSearcher(reader);

        //定义多个域

        String [] fields={"fieldName","fieldContent"};

        //创建查询解析对象  查询的语汇单词之间的关系是或，只要满足其中一个语汇单元，就可以查询出来

        MultiFieldQueryParser mp=new MultiFieldQueryParser(fields, new IKAnalyzer());

        Query tq=mp.parse("爱我china");

         System.out.println("tq:"+tq);//tq:(fieldName:爱我 fieldName:我 fieldName:china) (fieldContent:爱我 fieldContent:我 fieldContent:china)

        TopDocs result=is.search(tq, 10);//查询前10条

        int totalHits=result.totalHits;//获取总记录数

        System.out.println("totalHits:"+totalHits);

        //获取文档列表

        ScoreDoc[] sd=result.scoreDocs;

        for(ScoreDoc sc:sd){

            int id=sc.doc;//获取文档ID

            Document doc=is.doc(id);//获取文档

            String fieldName=doc.get("fieldName");

            String fieldContent=doc.get("fieldContent");

            String fieldSize=doc.get("fieldSize");

            String fieldPath=doc.get("fieldPath");

            System.out.println("fieldName:"+fieldName);

            System.out.println("fieldContent:"+fieldContent);

            System.out.println("fieldSize:"+fieldSize);

            System.out.println("fieldPath:"+fieldPath);

        }

    }