基于Docker安装Elasticsearch 7.10
基于Docker安装Elasticsearch 7.10
本文将详细介绍如何使用Docker安装Elasticsearch 7.10版本,并配置Kibana和IK分词器。
1. Elasticsearch简介
Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性,能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elasticsearch 数据库中,再通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据,当用户搜索数据时候,再根据权重将结果排名,打分,再将返回结果呈现给用户。
Elasticsearch是与名为Logstash的数据收集和日志解析引擎以及名为Kibana的分析和可视化平台一起开发的。这三个产品被设计成一个集成解决方案,称为“Elastic Stack”(以前称为“ELK stack”)。
Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。Elasticsearch是分布式的,这意味着索引可以被分成分片,每个分片可以有0个或多个副本。每个节点托管一个或多个分片,并充当协调器将操作委托给正确的分片。再平衡和路由是自动完成的。相关数据通常存储在同一个索引中,该索引由一个或多个主分片和零个或多个复制分片组成。一旦创建了索引,就不能更改主分片的数量。
Elasticsearch使用Lucene,并试图通过JSON和Java API提供其所有特性。它支持facetting和percolating,如果新文档与注册查询匹配,这对于通知非常有用。另一个特性称为“网关”,处理索引的长期持久性;例如,在服务器崩溃的情况下,可以从网关恢复索引。Elasticsearch支持实时GET请求,适合作为NoSQL数据存储,但缺少分布式事务。
2. 基于Docker安装Elasticsearch
2.1 创建网络
因为需要部署kibana容器,因此需要让es和kibana容器互联。
docker network create es-net
2.2 拉取镜像
docker pull elasticsearch:7.10.1
个人比较推荐安装7.10版本。Elasticsearch 7.10版本在设计、稳定性、特性上相较于5.x、6.x版本都更优秀。而且7.x版本是官方推荐使用的版本,也是目前使用最广泛的版本,社区支持和维护都比较完善。此外,7.10版本也是最后一个支持Java 8的版本,对于还在使用Java 8的用户来说是一个不错的选择。
2.3 查看镜像
docker images
2.4 创建映射目录
mkdir -p /usr/local/es/data /usr/local/es/config /usr/local/es/plugins
创建映射目录的原因:
- 数据丢失:当容器被删除时,容器内部的所有数据也会被删除。如果没有目录映射,将丢失容器内的所有文件和更改,因为这些数据没有存储在宿主机上。
- 数据隔离:容器内的文件和数据将无法在容器外部直接访问,这限制了数据共享和持久化的能力。
- 容器可移植性受限:由于数据存储在容器内部,所以容器的可移植性受到限制。如果需要在另一台机器上运行相同的容器,需要重新创建容器并手动迁移数据。
2.5 递归授权
chmod -R 777 /usr/local/es
2.6 部署单点es,创建es容器
docker run -d \
--restart=always \
--name es \
--network es-net \
-p 9200:9200 \
-p 9300:9300 \
--privileged \
-v /usr/local/es/data:/usr/share/elasticsearch/data \
-v /usr/local/es/plugins:/usr/share/elasticsearch/plugins \
-e "discovery.type=single-node" \
-e "ES_JAVA_OPTS=-Xms1024m -Xmx1024m" \
elasticsearch:7.10.1
参数解读:
docker run -d
:在后台运行容器。--restart=always
:如果容器停止,Docker会自动重启它。--name es
:为容器指定名称。--network es-net
:将容器连接到指定网络。-p 9200:9200 -p 9300:9300
:映射端口,9200是HTTP接口,9300是节点间通信端口。--privileged
:给予容器更多权限。-v /usr/local/es/data:/usr/share/elasticsearch/data
:数据目录映射。-v /usr/local/es/plugins:/usr/share/elasticsearch/plugins
:插件目录映射。-e "discovery.type=single-node"
:设置为单节点模式。-e "ES_JAVA_OPTS=-Xms1024m -Xmx1024m"
:设置Java内存参数。
2.7 查看正在运行的docker容器
docker ps
2.8 访问es
curl -XGET http://localhost:9200
如果出现以下实例,表示es启动成功:
- 浏览器访问失败
- 方法1 :关闭防火墙
- 方法2:开放9200端口
2.9 查看es日志
docker logs es
2.10 关闭容器和启动容器
#关闭容器
docker stop es
#启动容器
docker start es
#重启
docker restart es
3. 基于Docker安装Kibana
Kibana是一个开源的分析与可视化平台,设计用于和Elasticsearch一起使用。Kibana使用各种不同的图表、表格、地图等,能够直观的展示Elasticsearch中的数据,从而达到高级的数据分析与可视化的目的。同时,Kibana还提供了搜索、观察和保护数据的功能,用户可以向自己的应用或网站添加搜索框,分析日志、指标,并发现安全漏洞。
3.1 拉取镜像
Kibana的版本要和es的版本保持一致
docker pull kibana:7.10.1
3.2 部署kibana,创建kibana容器
docker run -d \
--restart=always \
--name kibana \
--network es-net \
-p 5601:5601 \
-e ELASTICSEARCH_HOSTS=http://es:9200 \
kibana:7.10.1
参数解析:
docker run -d
:使用 Docker 运行一个新的容器实例,并使其在后台(detached mode)运行。--restart=always
:如果容器因为某些原因停止运行,Docker 会自动尝试重新启动它。--name kibana
:为这个容器实例指定一个名称,这里是 kibana。--network es-net
:将这个容器连接到名为 es-net 的 Docker 网络。-p 5601:5601
:端口映射。这表示将宿主机的 5601 端口映射到容器的 5601 端口。-e ELASTICSEARCH_HOSTS=http://es:9200
:设置环境变量。这里设置的是 ELASTICSEARCH_HOSTS,其值为 http://es:9200。这告诉 Kibana 在哪里可以找到 Elasticsearch 实例。kibana:7.10.1
:指定要运行的 Docker 镜像名称和标签。
综上所述,这条命令的主要目的是在 Docker 中启动一个名为 kibana 的容器实例,该实例使用 kibana:7.10.1 镜像,连接到 es-net 网络,监听宿主机的 5601 端口,并连接到 Elasticsearch 实例(假设其名称为 es,运行在 9200 端口)。
浏览器访问
4. 基于Docker安装IK分词器
4.1 为什么要安装分词器
ES在创建倒排索引时需要对文档分词。在搜索时,需要对用户输入内容分词。但默认的分词规则对中文处理并不友好。
安装前后对比
安装前:
安装后:
4.2 离线下载分词器插件
IK分词器插件的版本要和ElasticSearch的版本一致
下载地址:https://github.com/medcl/elasticsearch-analysis-ik
将安装包解压放到我们的映射目录中
创建es容器时,我们做了映射目录 /usr/local/es/plugins:/usr/share/elasticsearch/plugins
放入完成之后,进入es容器对应的目录中就有了插件
docker exec -it es /bin/bash
参数解读:
docker exec
:这是 Docker 的一个子命令,用于在正在运行的容器中执行一个命令。-it
:这是两个标志的组合。-i
(或--interactive
):保持标准输入(stdin)打开,即使不附加容器。-t
(或--tty
):分配一个伪终端(pseudo-TTY)或终端。这通常用于交互式会话。es
:这是容器的名称或ID。/bin/bash
:是你希望在容器内执行的命令。在这种情况下,你希望启动 bash shell。如果容器内有/bin/bash
,那么你会得到一个交互式 bash 会话。
综合上述信息,docker exec -it es /bin/bash
命令将启动一个交互式 bash 会话在名为“es”的 Docker 容器内。
进入对应的插件目录
4.3 安装分词器
上面步骤执行完成之后,插件其实就已经安装成功,只需要重启es容器就可以了
docker restart es