问小白 wenxiaobai
资讯
历史
科技
环境与自然
成长
游戏
财经
文学与艺术
美食
健康
家居
文化
情感
汽车
三农
军事
旅行
运动
教育
生活
星座命理

在阿里云上搭建 Apache Doris 测试环境:1FE 1BE 部署指南

创作时间:
2025-01-22 07:52:28
作者:
@小白创作中心

在阿里云上搭建 Apache Doris 测试环境:1FE 1BE 部署指南

Apache Doris 是一款基于 MPP 架构的高性能、实时的分析型数据库,适用于实时数据分析、数据仓库等场景。本文将详细介绍如何在阿里云服务器上搭建 Apache Doris 的测试环境,包括 FE(Frontend)和 BE(Backend)的部署步骤。

注意事项

首先需要强调的是,在阿里云的国内服务器上,不建议使用容器搭建或通过 Dockerfile 构建镜像的方式安装 Apache Doris。这两种方式都可能导致无法从 GitHub 拉取镜像的问题,即使使用了镜像加速器也可能无法解决。因此,最稳妥的方式是直接在服务器上手动部署。

环境准备

本次测试环境使用了两台 ECS 服务器:

  • 1 台 FE 服务器:8CPU 8GB 内存
  • 1 台 BE 服务器:8CPU 16GB 内存

FE 部署步骤

1. 安装 JDK 和 MySQL

sudo yum update -y
sudo yum install java-1.8.0-openjdk-devel.x86_64 -y
sudo yum install mysql -y

2. 下载并解压 FE 软件包

wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-2.0.12-bin-x64.tar.gz
tar zxf apache-doris-2.0.12-bin-x64.tar.gz
mv apache-doris-2.0.12-bin-x64 apache-doris

3. 修改配置文件

cd apache-doris/fe/
vim conf/fe.conf

在配置文件中,需要进行以下设置:

# 增加 JAVA_HOME 配置,指向 JDK8 的运行环境。假如我们 JDK8 位于 /home/doris/jdk8, 则设置如下
JAVA_HOME=/home/doris/jdk8
# FE 监听 IP 的 CIDR 网段。默认设置为空,有 Apache Doris 启动时自动选择一个可用网段。如有多个网段,需要指定一个网段,可以类似设置 priority_networks=92.168.0.0/24
# priority_networks =
# FE 元数据存放的目录,默认是在 DORIS_HOME 下的 doris-meta 目录。已经创建,可以更改为你的元数据存储路径。
# meta_dir = ${DORIS_HOME}/doris-meta

4. 启动 FE 服务

./bin/start_fe.sh --daemon

BE 部署步骤

1. 安装 JDK 和 MySQL

sudo yum update -y
sudo yum install java-1.8.0-openjdk-devel.x86_64 -y
sudo yum install mysql -y

2. 下载并解压 BE 软件包

wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-2.0.12-bin-x64.tar.gz
tar zxf apache-doris-2.0.12-bin-x64.tar.gz
mv apache-doris-2.0.12-bin-x64 apache-doris

3. 修改配置文件

cd apache-doris/be/
vim conf/be.conf

在配置文件中,需要进行以下设置:

# 增加 JAVA_HOME 配置,指向 JDK8 的运行环境。假如我们 JDK8 位于 /home/doris/jdk8, 则设置如下
JAVA_HOME=/home/doris/jdk8
# BE 监听 IP 的 CIDR 网段。默认设置为空,有 Apache Doris 启动时自动选择一个可用网段。如有多个网段,需要指定一个网段,可以类似设置 priority_networks=192.168.0.0/24
# priority_networks =
# BE 数据存放的目录,默认是在 DORIS_HOME 下的 storage 下,默认已经创建,可以更改为你的数据存储路径
# storage_root_path = ${DORIS_HOME}/storage

4. 启动 BE 服务

./bin/start_be.sh --daemon

配置 FE 使用 BE

在 FE 服务器上登录 MySQL:

mysql -uroot -P9030 -h127.0.0.1

添加 BE 节点:

ALTER SYSTEM ADD BACKEND "be_host_ip:heartbeat_service_port";
-- be_host_ip:要添加 BE 的 IP 地址
-- heartbeat_service_port:要添加 BE 的心跳上报端口,可以查看 be.conf 里的 #heartbeat_service_port,默认是 9050。
-- 通过 show backends 语句可以查看新添加的 BE 节点。

创建用户:

mysql> SET PASSWORD FOR 'root' = PASSWORD('doris-root-password');
Query OK, 0 rows affected (0.01 sec)

mysql> SET PASSWORD FOR 'admin' = PASSWORD('doris-admin-password');
Query OK, 0 rows affected (0.00 sec)

Root 用户和 Admin 用户的区别

  • Root 用户拥有整个集群的超级权限,可以对集群完成各种管理操作,比如添加节点,去除节点。
  • Admin 用户没有管理权限,是集群中的 Superuser,拥有除集群管理相关以外的所有权限。建议只有在需要对集群进行运维管理超级权限时才使用 Root 权限。

开放所需端口

在阿里云管理控制台中,需要将 FE 和 BE 使用的所有端口全部打开。通常情况下,需要开放的端口包括:

  • FE:8030(Web 管理界面)
  • BE:9050(心跳上报端口)

访问管理界面

完成上述步骤后,可以通过以下 URL 访问 Doris 的 Web 管理界面:

http://<FE的公网IP>:8030

使用之前创建的 admin 或 root 账号密码登录,即可查看 FE 和 BE 的相关信息。

© 2023 北京元石科技有限公司 ◎ 京公网安备 11010802042949号