博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop2.6.0+zookeeper+hbase1.0.0环境搭建
阅读量:7207 次
发布时间:2019-06-29

本文共 5426 字,大约阅读时间需要 18 分钟。

hot3.png

  1.  环境准备

    zookeeper集群

    hadoop集群,hadoop的搭建参考  

  2. 集群组成

           hostname hadoop cluster
ip
hbase cluster
           master namenode  & zookeeper 192.168.137.117 master
           slave1 datanode 192.168.137.117
           slave2 datanode    & zookeeper 192.168.137.118 regionserver
           slave3 datanode    & zookeeper 192.168.137.119 regionserver

  3.   下载hbase-1.0.0包,

  4.    解压,配置环境变量

cd /data0tar zxvf hbase-1.0.0-bin.tar.gzvi ~/.bashrcexport HBASE_HOME=/data0/hbase-1.0.0export PATH=$HBASE_HOME/bin:$PATHsource ~/.bashrc

  5.    hbase集群配置

vi hbase-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_71export HBASE_MANAGES_ZK=false #使用独立的zookeeper集群vi hbase-site.xml 
    
        
hbase.rootdir
        
        
hdfs://master:9000/hbase
    
    
        
hbase.cluster.distributed
        
true
    
    
        
hbase.master
        
master:60000
    
    
        
hbase.zookeeper.quorum
        
master,slave2,slave3
    
    
        
hbase.zookeeper.property.clientPort
        
2181
        
Property from ZooKeeper's config zoo.cfg. The port at which the clients will connect.
    
vi regionserversslave2slave3

  6.    将配置好的文件scp到slave2,slave3节点的$HBASE_HOME/conf下

  7.    在master节点启动hbase

cd $HBASE_HOME/bin./start-hbase.sh

遇到的问题,由于集群机器的时间不统一,导致regionserver启动失败。

2015-09-18 19:52:12,465 FATAL [regionserver/slave3/192.168.137.119:16020] regionserver.HRegionServer: Master rejected startup because clock is out of syncorg.apache.hadoop.hbase.ClockOutOfSyncException: org.apache.hadoop.hbase.ClockOutOfSyncException: Server slave3,16020,1442577129946 has been rejected; Reported time is too far out of sync with master.  Time difference of 28820322ms > max allowed of 30000ms        at org.apache.hadoop.hbase.master.ServerManager.checkClockSkew(ServerManager.java:357)        at org.apache.hadoop.hbase.master.ServerManager.regionServerStartup(ServerManager.java:250)        at org.apache.hadoop.hbase.master.MasterRpcServices.regionServerStartup(MasterRpcServices.java:298)        at org.apache.hadoop.hbase.protobuf.generated.RegionServerStatusProtos$RegionServerStatusService$2.callBlockingMethod(RegionServerStatusProtos.java:7910)        at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:2031)        at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:107)        at org.apache.hadoop.hbase.ipc.RpcExecutor.consumerLoop(RpcExecutor.java:130)        at org.apache.hadoop.hbase.ipc.RpcExecutor$1.run(RpcExecutor.java:107)        at java.lang.Thread.run(Thread.java:745)        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)        at java.lang.reflect.Constructor.newInstance(Constructor.java:526)        at org.apache.hadoop.ipc.RemoteException.instantiateException(RemoteException.java:106)        at org.apache.hadoop.ipc.RemoteException.unwrapRemoteException(RemoteException.java:95)        at org.apache.hadoop.hbase.protobuf.ProtobufUtil.getRemoteException(ProtobufUtil.java:313)        at org.apache.hadoop.hbase.regionserver.HRegionServer.reportForDuty(HRegionServer.java:2134)        at org.apache.hadoop.hbase.regionserver.HRegionServer.run(HRegionServer.java:826)        at java.lang.Thread.run(Thread.java:745)

解决办法是手工修改系统的硬件时间

date -s 时间clock -w

查看hbase集群运行状态

171858_3I4r_2311010.png

[hadoop@slave3 logs]$ hbase shellSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/data0/hbase-1.0.0/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J: Found binding in [jar:file:/data0/hadoop-2.6.0/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]2015-09-18 17:21:12,198 WARN  [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableHBase Shell; enter 'help
' for list of supported commands.Type "exit
" to leave the HBase ShellVersion 1.0.0, r6c98bff7b719efdb16f71606f3b7d8229445eb81, Sat Feb 14 19:49:22 PST 2015hbase(main):001:0> listTABLE                                                                                                                                                                                                                                       table01                                                                                                                                                                                                                                     1 row(s) in 0.1690 seconds=> ["table01"]hbase(main):002:0> scan 'table01'ROW                                                          COLUMN+CELL                                                                                                                                                                    0 row(s) in 0.1130 secondshbase(main):003:0>

转载于:https://my.oschina.net/u/2311010/blog/508203

你可能感兴趣的文章
轻松学会多线程(四)——synchronized同步keyword知多少
查看>>
Apache Kylin 部署之不完全指南
查看>>
php中将SimpleXMLElement Object数组转化为普通数组
查看>>
docker学习(7) docker-compose使用示例
查看>>
Android 推断当前Activity是不是最后一个Activity 以及 应用或Activity是否存在
查看>>
【Android】6.3 ProgressDialog
查看>>
设计模式六大原则——迪米特法则(LoD)
查看>>
HtmlAgilityPack 之 HtmlNode类
查看>>
[转]Java Web基础——Action+Service +Dao三层的功能划分
查看>>
ngx.location.capture 只支持相对路径,不能用绝对路径
查看>>
自己在OC考试中的试题
查看>>
向 Git 服务器添加 SSH 公钥
查看>>
Lua学习笔记5:类及继承的实现
查看>>
Vagrant工具
查看>>
如何使用 Android Studio 的 git hub 功能
查看>>
UML应用:业务内涵的分析抽象&表达
查看>>
eclipse菜单解释及中英对照《二》
查看>>
模拟易企秀
查看>>
CDOJ 1401 谭爷的黑暗沙拉 数学
查看>>
MySQL索引类型总结和使用技巧以及注意事项
查看>>