接上篇《构建一个完整的数据仓库(三)doris编译安装》。上一篇我们安装了一份doris的单机环境,并且已经启动起来了,在这里我们由于是大数据环境,所以我们需要添加一个broker,在昨天的doris目录下我们已经把apache_hdfs_broker放在对应的目录下了。
接着我们就来配置下这个apache_hdfs_broker。
一、首先进入到apache_hdfs_broker的conf目录下
这里有个前提,我们这里已经安装了hadoop的环境,因此在这里就不配置hadoop了,安装hadoop环境的话,大家可以自行百度,后期我们也会更新对应的文章。如果还没有安装hadoop的话,需要安装一个hadoop环境,单机/集群都可以,生产上一定要用集群。
cd /home/pubserver/doris/apache_hdfs_broker/conf
这里有2个配置文件,一是apache_hdfs_broker.conf,另外一个是hdfs-site.xml。一般的话这两个配置文件都不需要修改,如果在hadoop环境里面有特殊配置的话,那么把hdfs-site.xml的文件拷贝过来即可。
二、启动broker
cd /home/pubserver/doris/apache_hdfs_broker/bin ./start_broker.sh --daemon
启动成功之后,我们使用jps命令,可以看到一个进程名为:BrokerBootstrap的进程。
三、把broker添加到doris上面去
这里也有一个前提,前提是这个broker是一个新的broker,如果是已经添加到doris的broker直接启动即可。
3.1、首先我们使用navicate进入到doris,创建一个查询
使用命令:
ALTER SYSTEM ADD BROKER broker_name "192.168.31.193:38000";
然后执行
上面的端口我这边是由于端口冲突所以修改掉了,默认是8000,这个端口的配置在/home/pubserver/doris/apache_hdfs_broker/conf/apache_hdfs_broker.conf
到这里我们broker的初次安装就完成了。接下来我们去看看。访问:http://192.168.31.30:38030/System?path=//brokers
我们的broker就已经添加进去了。大功告成。
最后总结一下:
1、broker是 Doris 集群中一种可选进程,主要用于支持 Doris 读写远端存储上的文件和目录,如 HDFS、BOS 和 AFS 等。 2、我们这里安装的是apache_hdfs_broker主要是用来做备份和还原使用的。后期的文章会介绍到。
还没有评论,来说两句吧...