jdk+hadoop+hbase+spark的搭建

jdk+hadoop+hbase+spark的搭建,这是一个已经搭建好的，服务器到期之后的，配置保存

hosts: 118.31.38.25 work1 101.37.147.47 work2 47.96.11.140 master 修改各机器的host和hosts 配置ssh免密登陆

全部的环境变量： export HADOOP_HOME=/root/hadoop-2.7.7 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH export HBASE_HOME=/root/hbase-1.4.11 export PATH=$PATH:$HBASE_HOME/bin export SPARK_HOME=/root/spark-2.2.3-bin-hadoop2.7 export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

JAVA_HOME=/root/jdk1.8.0_231 CLASSPATH=$JAVA_HOME/lib/ PATH=$PATH:$JAVA_HOME/bin export PATH JAVA_HOME CLASSPATH

将压缩包解压到root目录下，各应用的配置文件基本可以使用了。前提是配置好hostname 、hosts 压缩包地址： 链接：https://pan.baidu.com/s/1bJAW1Ras7K7mnL1X5EeWjQ 提取码：2eos

集群页面 hafs http://master:50070/dfshealth.html#tab-overview yarn http://master:8088/cluster/nodes hbase http://master:16010/master-status spark http://master:8080/

要开放的端口号： 7077/7077 16030/16030 16000/16000 16020/16020 2181/2181 16010/16010 50070/50070 3000/10000