如何搭建一个HBase集群

在大数据集群中,HDFS 是基础设施,所以搭建环境会有一些麻烦,HBase 作为上层应用,搭建会简单很多。

本文介绍一种搭建 HBase 集群的方式。

搭建 HBase 集群所需的软件和环境:

  • 搭建了 HDFS 和 Zookeeper 集群的环境
  • HBase-1.6.0

对于搭建 HDFS 和 Zookeeper 集群,可以参照我之前的文章。

本文继续在之前的环境中进行,具体的机器名称及 IP 以自己的实际环境为准。

软件安装

将 HBase 安装包拷贝到 bigdata1(192.168.56.3)虚拟机中,然后解压到目标目录下

1
$ tar -zxvf hbase-1.6.0-bin.tar.gz -C /opt/module/

并将目录改名:

1
2
$ cd /opt/module
$ mv hbase-1.6.0-bin hbase-1.6.0

软件配置

进入到 hbase 目录之后,开始配置 HBase 的环境,首先需要配置 JDK 环境,然后要禁用 HBase 中自带的 zookeeper,在后面会与我们之前就配置好的 zookeeper 集群进行集成。

1
2
3
4
$ cd /opt/module/hbase-1.6.0
$ vi conf/hbase-evn.sh
export JAVA_HOME=/opt/module/java-se-8u41-ri/
export HBASE_MANAGES_ZK=false

接下来需要配置 hbase-site.xml 文件,这是 HBase 的核心配置文件:

1
$ vi conf/hbase-site.xml

首先需要配置 hdfs 的地址,并且要把 HBase 配置为分布式模式,然后在配置好 HBase 的端口号。

再接下来需要配置好 zookeeper 的地址,上面说到了要禁用 HBase 自带的 zookeeper。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
<property>
<name>hbase.rootdir</name>
<value>hdfs://bigdata1:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master.port</name>
<value>16000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>bigdata1:2181,bigdata2:2181,bigdata3:2181</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/opt/module/apache-zookeeper-3.6.1/zkData/</value>
</property>
<property>
<name>hbase.unsafe.stream.capability.enforce</name>
<value>false</value>
</property>

接下来需要配置 HBase 集群的机器,编辑 regionservers 文件,将三台虚拟机的名称填充进去:

1
2
3
4
$ vi regionservers
bigdata1
bigdata2
bigdata3

HBase 需要依赖 hdfs 作为底层存储,在 Hbase的配置中,还需要依赖 hadoop 的配置文件,当然也可以直接将配置文件拷贝过来,但是使用软连接是一种更加合理的方式。

下面软连接 hadoop 配置文件到 hbase:

1
2
$ ln -s /opt/module/hadoop-2.9.2/etc/hadoop/core-site.xml /opt/module/hbase-1.6.0/conf/core-site.xml
$ ln -s /opt/module/hadoop-2.9.2/etc/hadoop/hdfs-site.xml /opt/module/hbase-1.6.0/conf/hdfs-site.xml

到这里,HBase 的配置基本就完成了,然后将配置好的HBase 同步到另外两台虚拟机上:

1
2
$ rsync -rvl /opt/module/hbase-1.6.0/ root@192.168.56.4:/opt/module/hbase-1.6.0
$ rsync -rvl /opt/module/hbase-1.6.0/ root@192.168.56.5:/opt/module/hbase-1.6.0

启动集群

配置完成之后,就可以来启动 HBase 集群了,输入以下命令:

1
$ bin/start-hbase.sh

如果正常启动的话,就可以通过 http://bigdata1:16010 来进入到 HBase 的管理页面

如果要停止 HBase 集群的话,使用下面的命令就可以。

1
$ bin/stop-hbase.sh

文 / Rayjun

微信公众号

© 2020 ray