以下是进行单节点Hadoop配置的内容,多节点也类似
1. 进行Hadoop的安装
1.1 上文进行了Hadoop的编译,将编译结果目录 hadoop-2.2.0 拷贝为 /usr/hadoop 目录
1.2 编辑/etc/profile 文件,增加如下的内容
export HADOOP_PREFIX=/usr/hadoopexport PATH=$PATH:$HADOOP_PREFIX/binexport PATH=$PATH:$HADOOP_PREFIX/sbinexport HADOOP_MAPRED_HOMD=${HADOOP_PREFIX}export HADOOP_COMMON_HOME=${HADOOP_PREFIX}export HADOOP_HDFS_HOME=${HADOOP_PREFIX}export YARN_HOME=${HADOOP_PREFIX}export HADOOP_CONF_DIR=${HADOOP_PREFIX}/etc/hadoopexport HDFS_CONF_DIR=${HADOOP_PREFIX}/etc/hadoopexport YARN_CONF_DIR=${HADOOP_PREFIX}/etc/hadoop
1.3 执行 source /etc/profile 操作,使配置生效
2. 进行Hadoop的设置
2.1 修改core-site.xml 文件(文件位置 /usr/hadoop/etc/hadoop/),添加如下内容
fs.defaultFS hdfs://localhost:8020
2.2 修改hdfs-site.xml文件,位置如上,添加如下内容
dfs.namenode.name.dir file:/usr/hadoop/dfs/name true dfs.datanode.data.dir file:/usr/hadoop/dfs/data true dfs.replication 1 dfs.permissions false
2.3 创建 mapred-site.xml文件,可以使用 mapred-site.xml.template模板,书写如下的内容
mapreduce.framework.name yarn
2.4 编辑 yarn-site.xml文件,增加如下内容
yarn.nodemanager.aux-services mapreduce.shuffle
2.5 创建必要的目录
因为配置中有usr/hadoop/dfs/data,/usr/hadoop/dfs/name两个不存在的目录,请建立这两个目录
3. 启动Hadoop
3.1 格式化 namenode
hdfs namenode -format
3.2 运行 start-dfs.sh,执行的过程中需要多次输入密码
3.3 执行 jps命令,查看一下,如果有类似如下的显示,证明启动成功
4792 NameNode5168 Jps1679 Bootstrap1633 Launcher4910 DataNode5062 SecondaryNameNode
4. 停止Hadoop
4.1 执行 stop-dfs.sh 命令,执行过程中需要多次输入密码
4.2 执行 jps命令,查看一下,所有的NameNode和DataNode应该都消失了
5. 正常的情况下应该首先配置SSL免密码连接,此文不具体说明,请参考其他资料