后端

Doris部署记录

Apache Doris开发环境部署记录

SHADOW

• 9 min read
Doris部署记录

logo-1

Doris部署

开发/测试环境相对于部署比较简单，这里记录一下过程，方便后续再次部署和回顾

本次部署为单FE单BE测试环境，BE/FE的介绍可以参考官方文档Doris 介绍 - Apache Doris

部署FE/BE基于官方快速开始 - Apache Doris快速摘抄，并结合实际部署过程进行合并修改。

Doris 运行在 Linux 环境中，推荐 CentOS 7.x 或者 Ubuntu 16.04 以上版本，同时你需要安装 Java 运行环境（JDK最低版本要求是8），要检查你所安装的 Java 版本，请运行以下命令：

java -version

接下来，下载 Doris 的最新二进制版本，然后解压。

tar zxf apache-doris-x.x.x.tar.gz

部署FE

我们进入到 apache-doris-x.x.x/fe 目录

cd apache-doris-x.x.x/fe

修改 FE 配置文件 conf/fe.conf ，这里我们主要修改两个参数：priority_networks 及 meta_dir ，如果你需要更多优化配置，请参考 FE 参数配置说明，进行调整。

  1. 添加 priority_networks 参数
priority_networks=172.23.16.0/24

注意：

这个参数我们在安装的时候是必须要配置的，特别是当一台机器拥有多个IP地址的时候，我们要为 FE 指定唯一的IP地址。

这里假设你的节点 IP 是 172.23.16.32，那么我们可以通过掩码的方式配置为 172.23.16.0/24。

  1. 添加元数据目录
meta_dir=/path/your/doris-meta

注意：

这里你可以不配置，默认是在你的Doris FE 安装目录下的 doris-meta，

单独配置元数据目录，需要你提前创建好你指定的目录

启动FE

在 FE 安装目录下执行下面的命令，来完成 FE 的启动。

./bin/start_fe.sh --daemon

查看 FE 运行状态

你可以通过下面的命令来检查 Doris 是否启动成功

curl http://127.0.0.1:8030/api/bootstrap

这里 IP 和 端口分别是 FE 的 IP 和 http_port（默认8030），如果是你在 FE 节点执行，直接运行上面的命令即可。

如果返回结果中带有 "msg":"success" 字样，则说明启动成功。

你也可以通过 Doris FE 提供的Web UI 来检查，在浏览器里输入地址 http:// fe_ip:8030

看到页面，说明 FE 启动成功

连接FE

通过mysql客户端连接

mysql -uroot -P9030 -h127.0.0.1

注意：

  1. 这里使用的 root 用户是 doris 内置的默认用户，也是超级管理员用户，具体的用户权限查看 权限管理, root的密码修改可以通过mysql语法SET PASSWORD 'root@'= password(newPassword) 修改
  2. -P ：这里是我们连接 Doris 的查询端口，默认端口是 9030，对应的是fe.conf里的 query_port
  3. -h ： 这里是我们连接的 FE IP地址，如果你的客户端和 FE 安装在同一个节点可以使用127.0.0.1，这种也是 Doris 提供的如果你忘记 root 密码，可以通过这种方式不需要密码直接连接登录，进行对 root 密码进行重置
show frontends\G;

然后你可以看到类似下面的结果：

mysql> show frontends\G
*************************** 1. row ***************************
             Name: 172.21.32.5_9010_1660549353220
               IP: 172.21.32.5
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 9030
          RpcPort: 9020
             Role: FOLLOWER
         IsMaster: true
        ClusterId: 1685821635
             Join: true
            Alive: true
ReplayedJournalId: 49292
    LastHeartbeat: 2022-08-17 13:00:45
         IsHelper: true
           ErrMsg:
          Version: 1.1.2-rc03-ca55ac2
 CurrentConnected: Yes
1 row in set (0.03 sec)

如果 IsMaster、Join 和 Alive 三列均为true，则表示节点正常。

部署BE

我们进入到 apache-doris-x.x.x/be 目录

cd apache-doris-x.x.x/be

修改 BE 配置文件 conf/be.conf ，这里我们主要修改两个参数：priority_networks' 及 storage_root ，如果你需要更多优化配置，请参考 BE 参数配置说明，进行调整。

  1. 添加 priority_networks 参数
priority_networks=172.23.16.0/24

启动BE

在 BE 安装目录下执行下面的命令，来完成 BE 的启动。

./bin/start_be.sh --daemon

添加 BE 节点到集群,通过MySQL 客户端连接到 FE 之后执行下面的 SQL，将 BE 添加到集群中

ALTER SYSTEM ADD BACKEND "be_host_ip:heartbeat_service_port";
  1. be_host_ip：这里是你 BE 的 IP 地址，和你在 be.conf 里的 priority_networks 匹配
  2. heartbeat_service_port：这里是你 BE 的心跳上报端口，和你在 be.conf 里的 heartbeat_service_port 匹配，默认是 9050。

查看 BE 运行状态,你可以在 MySQL 命令行下执行下面的命令查看 BE 的运行状态。

SHOW BACKENDS\G

示例：

mysql> SHOW BACKENDS\G
*************************** 1. row ***************************
            BackendId: 10003
              Cluster: default_cluster
                   IP: 172.21.32.5
        HeartbeatPort: 9050
               BePort: 9060
             HttpPort: 8040
             BrpcPort: 8060
        LastStartTime: 2022-08-16 15:31:37
        LastHeartbeat: 2022-08-17 13:33:17
                Alive: true
 SystemDecommissioned: false
ClusterDecommissioned: false
            TabletNum: 170
     DataUsedCapacity: 985.787 KB
        AvailCapacity: 782.729 GB
        TotalCapacity: 984.180 GB
              UsedPct: 20.47 %
       MaxDiskUsedPct: 20.47 %
                  Tag: {"location" : "default"}
               ErrMsg:
              Version: 1.1.2-rc03-ca55ac2
               Status: {"lastSuccessReportTabletsTime":"2022-08-17 13:33:05","lastStreamLoadTime":-1,"isQueryDisabled":false,"isLoadDisabled":false}
1 row in set (0.01 sec)

Alive : true表示节点运行正常

安装ODBC(如需要ODBC数据导入)

安装unixODBC驱动

安装odbc驱动

yum install unixODBC unixODBC-devel libtool-ltdl libtool-ltdl-devel

安装后验证执行odbcinst -j， 看到如下信息说明安装成功

unixODBC 2.3.1
DRIVERS............: /etc/odbcinst.ini
SYSTEM DATA SOURCES: /etc/odbc.ini
FILE DATA SOURCES..: /etc/ODBCDataSources
USER DATA SOURCES..: /root/.odbc.ini
SQLULEN Size.......: 8
SQLLEN Size........: 8
SQLSETPOSIROW Size.: 8

安装Oracle ODBC驱动及测试

我们需要下载下面这几个安装包：

oracle-instantclient19.13-basic-19.13.0.0.0-2.x86_64.rpm
oracle-instantclient19.13-devel-19.13.0.0.0-2.x86_64.rpm
oracle-instantclient19.13-odbc-19.13.0.0.0-2.x86_64.rpm
oracle-instantclient19.13-sqlplus-19.13.0.0.0-2.x86_64.rpm

下面是下载地址：

https://download.oracle.com/otn_software/linux/instantclient/1913000/oracle-instantclient19.13-sqlplus-19.13.0.0.0-2.x86_64.rpm
https://download.oracle.com/otn_software/linux/instantclient/1913000/oracle-instantclient19.13-devel-19.13.0.0.0-2.x86_64.rpm
https://download.oracle.com/otn_software/linux/instantclient/1913000/oracle-instantclient19.13-odbc-19.13.0.0.0-2.x86_64.rpm
https://download.oracle.com/otn_software/linux/instantclient/1913000/oracle-instantclient19.13-basic-19.13.0.0.0-2.x86_64.rpm

然后执行安装上面四个包

rpm -ivh  oracle-instantclient19.13-basic-19.13.0.0.0-2.x86_64.rpm
rpm -ivh  oracle-instantclient19.13-devel-19.13.0.0.0-2.x86_64.rpm
rpm -ivh  oracle-instantclient19.13-odbc-19.13.0.0.0-2.x86_64.rpm
rpm -ivh  oracle-instantclient19.13-sqlplus-19.13.0.0.0-2.x86_64.rpm

验证我们安装的ODBC驱动动态链接库是否正确

root@iZbp1cq4g9n8chsy7hcafhZ:~/doris/be/conf# ldd /usr/lib/oracle/19.13/client64/lib/libsqora.so.19.1
 linux-vdso.so.1 (0x00007ffefef27000)
 libdl.so.2 => /lib/x86_64-linux-gnu/libdl.so.2 (0x00007f43e80b0000)
 libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007f43e7f61000)
 libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007f43e7f3e000)
 libnsl.so.1 => /lib/x86_64-linux-gnu/libnsl.so.1 (0x00007f43e7f21000)
 librt.so.1 => /lib/x86_64-linux-gnu/librt.so.1 (0x00007f43e7f16000)
 libaio.so.1 => /lib/x86_64-linux-gnu/libaio.so.1 (0x00007f43e7f11000)
 libresolv.so.2 => /lib/x86_64-linux-gnu/libresolv.so.2 (0x00007f43e7ef3000)
 libclntsh.so.19.1 => /usr/lib/oracle/19.13/client64/lib/libclntsh.so.19.1 (0x00007f43e3d6f000)
 libclntshcore.so.19.1 => /usr/lib/oracle/19.13/client64/lib/libclntshcore.so.19.1 (0x00007f43e37cb000)
 libodbcinst.so.2 => /usr/local/lib/libodbcinst.so.2 (0x00007f43e37b3000)
 libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f43e35c1000)
 /lib64/ld-linux-x86-64.so.2 (0x00007f43e8379000)
 libnnz19.so => /usr/lib/oracle/19.13/client64/lib/libnnz19.so (0x00007f43e2f4a000)
 libltdl.so.7 => /lib/x86_64-linux-gnu/libltdl.so.7 (0x00007f43e2f3d000)

修改be节点conf/odbcinst.ini，将oracle的配置加上,示例如下

[Oracle 19 ODBC driver] ## 这个odbc的名称要记住，需要用到
Description     = Oracle ODBC driver for Oracle 19
# 注意这里要改成刚刚的安装位置
Driver          = /usr/lib/oracle/19.13/client64/lib/libsqora.so.19.1

验证ODBC

创建ODBC Resource

如果没有先创建数据库

-- 创建数据库
create database demo;
-- 使用
use demo;

创建外部数据源(Resources)

CREATE EXTERNAL RESOURCE `oracle_odbc`
PROPERTIES (
  "type" = "odbc_catalog", -- odbc默认为odbc_catalog
  "host" = "xxx.xxx.xxx", -- Oracle数据库IP地址
  "port" = "1521", -- Oracle数据库端口号
  "database" = "ORCL", -- Oracle数据库实例
  "user" = "xxx", -- 目标数据库的用户
  "password" = "xxx", -- 目标数据库的用户
  "odbc_type" = "oracle", -- mysql,oracle,sqlsever对应即可
  "driver" = "Oracle 19 ODBC driver" -- 这里的名称一定和be配置odbcinst.ini的objc名称一致
);

创建ODBC外表

CREATE EXTERNAL TABLE `EXT_TEST_TABLE` (
  `SCID` VARCHAR(32) NOT NULL COMMENT "",
  `WPID` VARCHAR(32) NOT NULL COMMENT "",
  `SUMMARY` VARCHAR(2000) NOT NULL COMMENT ""
) ENGINE=ODBC
COMMENT "测试表"
PROPERTIES (
    "odbc_catalog_resource" = "oracle_odbc", -- 和上面的Resource名称保持一致
    "database" = "ORCL", -- Oracle数据库的示例名
    "table" = "WP_INFO" -- Oracle表名
);

验证外表

SELECT * FROM EXT_TEST_TABLE;

创建Doris表(基于外表)

CREATE TABLE `TBL_TEST_TABLE` (
  `SCID` VARCHAR(32) NOT NULL COMMENT "",
  `WPID` VARCHAR(32) NOT NULL COMMENT "",
  `SUMMARY` VARCHAR(2000) NOT NULL COMMENT ""
)
DISTRIBUTED BY HASH(SCID) BUCKETS 1
PROPERTIES (
    "replication_allocation" = "tag.location.default: 1" -- 测试服务为单fe和be，不做冗余，实际可以调整
);

同步表

将oralcle数据同步(抽取)到doris中

INSERT INTO TBL_TEST_TABLE SELECT SCID,WPID,SUMMARY FROM EXT_TEST_TABLE LIMIT 100;

注意事项

  • 必须保证外部数据源与 Doris 集群是可以互通，包括BE节点和外部数据源的网络是互通的。
  • ODBC 外部表本质上是通过单一 ODBC 客户端访问数据源，因此并不合适一次性导入大量的数据，建议分批多次导入。