Elasticsearch 7.x入门学习-Spring Data Elasticsearch框架

1 Spring Data框架

Spring Data 是一个用于简化数据库、非关系型数据库、索引库访问，并支持云服务的开源框架。其主要目标是使得对数据的访问变得方便快捷，并支持 map-reduce 框架和云计算数据服务。 Spring Data 可以极大的简化 JPA的写法，可以在几乎不用写实现的情况下，实现对数据的访问和操作。除了 CRUD 外，还包括如分页、排序等一些常用的功能。

Spring Data 的官网：https://spring.io/projects/spring-data/
Spring Data 常用的功能模块如下：

2 Spring Data Elasticsearch 介绍

Spring Data Elasticsearch 基于 spring data API 简化 Elasticsearch 操作，将原始操作Elasticsearch 的客户端 API 进行封装 。Spring Data 为 Elasticsearch 项目提供集成搜索引擎。Spring Data Elasticsearch POJO 的关键功能区域为中心的模型与 Elastichsearch 交互文档和轻松地编写一个存储索引库数据访问层。

官方网站: https://spring.io/projects/spring-data-elasticsearch

,进入到Spring Data Elasticsearch 的官网可以看到Spring Data Elasticsearch 版本对应Elasticsearch和Spring Boot版本：https://docs.spring.io/spring-data/elasticsearch/docs/4.3.0/reference/html/#preface.requirements

Spring Boot2.3.x 一般可以兼容 Elasticsearch7.x

3 创建项目

IDEA创建 Maven 项目springdata-elasticsearch包，修改 pom 文件，增加依赖关系

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.3.6.RELEASE</version>
        <relativePath/>
    </parent>
    
    <groupId>org.example</groupId>
    <artifactId>springdata-elasticsearch</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-devtools</artifactId>

            <scope>runtime</scope>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-test</artifactId>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-test</artifactId>
        </dependency>
    </dependencies>
</project>

4 增加配置文件

增加配置文件application.properties，添加以下配置：

# es 服务地址
elasticsearch.host=127.0.0.1
# es 服务端口
elasticsearch.port=9200
# 配置日志级别,开启 debug 日志
logging.level.com.atguigu.es=debug

5 SpringBoot 启动类

添加SpringBoot 启动类SpringDataElasticSearchMainApplication

@SpringBootApplication
public class SpringDataElasticSearchMainApplication {
 public static void main(String[] args) {
 
SpringApplication.run(SpringDataElasticSearchMainApplication.class,args);
 } }

6 创建数据实体类

创建数据实体类Product

@Data
@NoArgsConstructor
@AllArgsConstructor
@ToString
public class Product {
    /**
     * 商品唯一标识
     */
    private Long id;
    /**
     * 商品名称
     */
    private String title;
    /**
     * 分类名称
     */
    private String category;
    /**
     * 商品价格
     */
    private Double price;
    /**
     * 图片地址
     */
    private String images;
}

7 配置类修改

ElasticsearchRestTemplate 是 spring-data-elasticsearch 项目中的一个类，和其他 spring 项目中的 template类似。在新版的 spring-data-elasticsearch 中，ElasticsearchRestTemplate 代替了原来的 ElasticsearchTemplate。

原因是 ElasticsearchTemplate 基于 TransportClient，TransportClient 即将在 8.x 以后的版本中移除。所以，我们推荐使用 ElasticsearchRestTemplate。

ElasticsearchRestTemplate 基于RestHighLevelClient 客户端的。需要自定义配置类，继承AbstractElasticsearchConfiguration，并实现elasticsearchClient()抽象方法，创建 RestHighLevelClient 对象。

@ConfigurationProperties(prefix = "elasticsearch")
@Configuration
@Data
public class ElasticsearchConfig extends AbstractElasticsearchConfiguration {
    private String host;
    private Integer port;

    //重写父类方法
    @Override
    public RestHighLevelClient elasticsearchClient() {
        RestClientBuilder builder = RestClient.builder(new HttpHost(host, port));
        RestHighLevelClient restHighLevelClient = new
                RestHighLevelClient(builder);
        return restHighLevelClient;
    }
}

8 DAO 数据访问对象

创建DAO 数据访问类ProductDao

@Repository
public interface ProductDao extends ElasticsearchRepository<Product,Long> {
}

9 实体类映射操作

对实体类Product 定义实体类映射操作

@Data
@NoArgsConstructor
@AllArgsConstructor
@ToString
@Document(indexName = "product", shards = 3, replicas = 1)
public class Product {
    /**
     * 商品唯一标识
     * 
     * 必须有 id,这里的 id 是全局唯一的标识，等同于 es 中的"_id"
     */
    @Id
    private Long id;
    /**
     * type : 字段数据类型
     * analyzer : 分词器类型
     * index : 是否索引(默认:true)
     * Keyword : 短语,不进行分词
     */
    /**
     * 商品名称
     */
    @Field(type = FieldType.Text, analyzer = "ik_max_word")
    private String title;
    /**
     * 分类名称
     */
    @Field(type = FieldType.Keyword)
    private String category;
    /**
     * 商品价格
     */
    @Field(type = FieldType.Double)
    private Double price;
    /**
     * 图片地址
     */
    @Field(type = FieldType.Keyword, index = false)
    private String images;
}

10 测试索引操作

下面测试添加索引和删除索引：

@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringDataESIndexTest {
    //注入 ElasticsearchRestTemplate
    @Autowired
    private ElasticsearchRestTemplate elasticsearchRestTemplate;
    //创建索引并增加映射配置
    @Test
    public void createIndex(){
        //创建索引，系统初始化会自动创建索引
        System.out.println("创建索引");
    }
    @Test
    public void deleteIndex(){
        //创建索引，系统初始化会自动创建索引
        boolean flg = elasticsearchRestTemplate.deleteIndex(Product.class);
        System.out.println("删除索引 = " + flg);
    }
}

执行createIndex之后，查看product是否有创建

通过kibana查看索引是否存在

执行删除索引deleteIndex方法：

11 测试文档操作

下面测试文档的添加，修改，查询，删除等操作

@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringDataESProductDaoTest {
    @Autowired
    private ProductDao productDao;

    /**
     * 新增
     */
    @Test
    public void save() {
        Product product = new Product();
        product.setId(1L);
        product.setTitle("华为手机");
        product.setCategory("手机");
        product.setPrice(2999.0);
        product.setImages("http://www.atguigu/hw.jpg");
        productDao.save(product);
    }
    //修改
    @Test
    public void update() {
        Product product = new Product();
        product.setId(1L);
        product.setTitle("小米 2 手机");
        product.setCategory("手机");
        product.setPrice(9999.0);
        product.setImages("http://www.atguigu/xm.jpg");
        productDao.save(product);
    }

    //根据 id 查询
    @Test
    public void findById() {
        Product product = productDao.findById(1L).get();
        System.out.println(product);
    }



    @Test
    public void findAll() {
        Iterable<Product> products = productDao.findAll();
        for (Product product : products) {
            System.out.println(product);
        }
    }

    //删除
    @Test
    public void delete() {
        Product product = new Product();
        product.setId(1L);
        productDao.delete(product);
    }

    //批量新增
    @Test
    public void saveAll() {
        List<Product> productList = new ArrayList<>();
        for (int i = 0; i < 10; i++) {
            Product product = new Product();
            product.setId(Long.valueOf(i));
            product.setTitle("[" + i + "]小米手机");
            product.setCategory("手机");
            product.setPrice(1999.0 + i);
            product.setImages("http://www.atguigu/xm.jpg");
            productList.add(product);
        }
        productDao.saveAll(productList);
    }

    //分页查询
    @Test
    public void findByPageable() {
        //设置排序(排序方式，正序还是倒序，排序的 id)
        Sort sort = Sort.by(Sort.Direction.DESC, "id");
        int currentPage = 0;//当前页，第一页从 0 开始，1 表示第二页
        int pageSize = 5;//每页显示多少条
        //设置查询分页
        PageRequest pageRequest = PageRequest.of(currentPage, pageSize, sort);
        //分页查询
        Page<Product> productPage = productDao.findAll(pageRequest);
        for (Product Product : productPage.getContent()) {
            System.out.println(Product);
        }
    }
}

执行save()方法保存文档，通过kibana查看结果：

执行update()方法更新文档，通过kibana查看结果：

执行findById()方法根据id查找，查看程序执行结果：

执行findAll()方法查找索引的所有文档，查看程序执行结果：

执行delete()删除id为1的数据后，再执行findAll()方法查找索引的所有文档，查看程序执行结果：

执行saveAll()方法批量新增后，执行findByPageable方法分页查询数据，查看程序执行结果：

12 配置分词器

在测试文档查询之前需要先配置中文分词器，ElasticSearch默认的内置分词器standard是针对英文等拉丁语系设计的，是不支持中文分词的。IK分词器是一个开源的中文分词器插件，丰富和优化了Elasticsearch 的设计。

以Windows 环境ES7.8安装ik分词器为例，对应下载ik分词器7.8版本，下载链接：https://release.infinilabs.com/analysis-ik/stable/elasticsearch-analysis-ik-7.8.0.zip

ik分词器各个版本的下载链接：https://release.infinilabs.com/analysis-ik/stable/
GitHub仓库链接：https://github.com/infinilabs/analysis-ik

1、下载ik分词器压缩包并解压

2、将解压后的分词器目录移动到elasticsearch-7.8.0目录下的plugins目录下

3、启动elasticsearch
可以从启动日志看analysis-ik插件已经加载

4、通过kibana测试ik分词器

测试关键词查询

从上面的分词结果可以看到，查询“小米手机”就查不到了。这时候就需要我们自定义拆分文本

5、自定义拆分脚本

首先在plugins\ik\config目录下新建一个文本文件，命名为.dic后缀的文件，例如我命名为myWord.dic 。开自定义的dic文件，在其中编写你需要的词语（这里要将文件的编码选择为UTF-8，否则无法正确识别）

打开plugins\ik\config目录下的IKAnalyzer.cfg.xml文件，将自定义的dic文件写入

重启ES和kibana。并重建索引，测试查询“小米手机”：

13 文档搜索

@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringDataESSearchTest {
    @Autowired
    private ProductDao productDao;

    /**
     * term 查询
     * search(termQueryBuilder) 调用搜索方法，参数查询构建器对象
     */
    @Test
    public void termQuery() {
        TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("title", "小米");
        Iterable<Product> products = productDao.search(termQueryBuilder);
        for (Product product : products) {
            System.out.println(product);
        }
    }

    /**
     * term 查询加分页
     */
    @Test
    public void termQueryByPage() {
        int currentPage = 0;
        int pageSize = 5;
        //设置查询分页
        PageRequest pageRequest = PageRequest.of(currentPage, pageSize);
        TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("title", "小米");
        Iterable<Product> products =
                productDao.search(termQueryBuilder, pageRequest);
        for (Product product : products) {
            System.out.println(product);
        }
    }
}

term查询结果：

term 查询加分页结果：

测试前面配置的自定义分词：小米手机的查询结果：