【技术】记一次 Docker 中的 ES 数据迁移，使用 Reindex API

环境背景

• Linux
• Docker：20
• ElasticSearch：8

需求背景

老的 ES 在 Docker 安装的时候设置的内存太小，导致数据量过大时查询直接内存溢出，容器挂掉。原计划是修改老 ES 的内存配置，奈何最开始安装的时候没有进行挂接，进入到容器中也无法修改，就连 Docker 容器的 json 文件都改了，也不行。所以就直接启动了一个新的 ES 容器，这下把能挂接的目录都挂到宿主机上，方便后续修改。现在问题来了，之前的数据怎么办？要么忍痛割爱，等着系统同步，要么数据迁移。果断选择后者，谁让喜欢折腾呢。

开始迁移

确认老 ES 的访问地址

• 情况1： 因为老 ES 安装的时候直接使用的主机模式，所以直接用宿主机的IP和对应端口就行。
• 情况2： 没有使用主机模式，得先查看 Docker 给 ES 分配的 IP 地址。使用docker inspect <容器ID/名称> 查看容器信息。找到NetworkSettings -> NetWorks -> bridge -> IPAddress就可以看到 Docker 给 ES 分配的 IP 地址。

在新 ES 中创建索引的 Mapping (选配)

ES 在数据迁移的时候会自动创建索引，但是 Mapping 不会创建，所以有必要的话可以先在新 ES 中创建索引，并添加 Mapping。如果不需要可以跳过此步骤。

curl -X PUT "http://<ES_HOST>:9200/new_index?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": { /* 自定义设置 */ },
  "mappings": { /* 自定义映射 */ }
}
'

在新 ES 中配置老 ES 的地址

编辑 elasticsearch.yml

cluster:
  remote:
    old_cluster:
      seeds: "<源集群容器IP>:9300"

添加配置后，重启容器生效。重启命令：docker restart <容器ID/名称>

开始迁移数据

重启之后，请求新 ES 地址，开始同步数据

curl -X POST "http://目标ES_HOST:9200/_reindex?pretty" -H 'Content-Type: application/json' -d'
{
  "source": {
    "remote": { "host": "http://源ES_HOST:9200" },
    "index": "old_index",
    "size": 5000  // 每批迁移文档数
  },
  "dest": { "index": "new_index" }
}
'

如果 ES 有安全认证，需要在 remote 属性中添加认证属性；

"remote": {
  "host": "http://源ES_HOST:9200",
  "headers": { "Authorization": "ApiKey <Base64编码的API密钥>" }
}

数据验证

curl -X GET "http://<ES_HOST>:9200/new_index/_count?pretty" -H 'Content-Type: application/json' -d'
{ "query": { "match_all": {} } }
'

PS：curl 可能用着不舒服，使用 postman 也是可以的，只需要把{}的内容作为请求的 body传递即可，注意改成 JSON 类型。