마스터 노드에서start-dfs.sh 각 노드들에서 zkServer.sh 마스터노드에서 start-hbase.sh
hbase와 맵리듀스를 연동하여 사용하는 것에 대해 알아보겠습니다. hbase와 맵리듀스를 연동하면 기존의 hbase쉘이나 자바 프로그램을 이용하여 대화형으로 하나 하나 데이터를 처리하는 방식에서, 처리하고자 하는 데이터를 훑어 빠르게 데이터를 처리할 수 있다는 장점이 있습니다. 참고한 서적은 hbase 완벽가이드(2011)입니다. 코드는https://github.com/larsgeorge/hbase-book에 있습니다. 이번 글은 7장의 코드를 사용합니다. 저는 jar파일을 만들기 위해 이클립스를 사용했습니다. 이클립스에서 코드를 작성하시고 export를 하시면 됩니다. 맵리듀스 연동을 위해서는 HADOOP_CLASSPATH를 설정해주셔야 합니다. 저는vi /etc/profile를 이용하여 설정했습니다..
hadoop jar ~~의 명령어로 맵리듀스 연동시 java.lang.NoClassDefFoundError가 발생할 수 있습니다. 위의 오류에서는 RpcServer라는 클래스를 찾지 못해서 발생한 에러입니다. 해결법은 HADOOP_CLASSPATH에 RpcServer클래스를 포함하고 있는 hbase라이브러리에 있는 jar파일을 추가해주는 겁니다. RpcServer클래스가 어떤 jar파일에 존재하는지 알기 위해 https://jar-download.com/ 이용합니다. class search에서 RpcServer를 검색해보면 다음과 같이 나옵니다. 저희가 원하는 jar파일은 hbase-server.jar이네요. HADOOP_CLASSPATH에 $HBASE_HOME/lib/hbase-server.jar파일을..
hbase는 단일모드에서 hdfs를 사용하지 않고 로컬 파일 시스템을 사용합니다.하둡을 따로 설치하지 않아도 hbase를 이용하는 것이 가능합니다만,저는 이 글에서 완전분산모드에서의 설치 방법을 작성하겠습니다. 완전분산모드에서 hbase를 설치하기 위해서는 자바, 하둡, 주키퍼가 설치되어있어야 합니다.이 글에서는 자바, 하둡, 주키퍼가 설치되어있다고 가정하고 진행하도록 하겠습니다. 혹시 하둡을 설치하실 분은 http://superkong1.tistory.com/40를 참고하시면 되겠습니다. [버전정보]자바 1.8.0_171hadoop 2.7.6hbase 2.0.1zookeeper 3.4.13 [HBase 설치할 노드 정보] HostName IP 용도 master.hadoop.com 192.168.56.1..