博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop学习历程(二、配置)
阅读量:4982 次
发布时间:2019-06-12

本文共 2227 字,大约阅读时间需要 7 分钟。

以下是进行单节点Hadoop配置的内容,多节点也类似

1. 进行Hadoop的安装

  1.1 上文进行了Hadoop的编译,将编译结果目录 hadoop-2.2.0 拷贝为 /usr/hadoop 目录

  1.2 编辑/etc/profile 文件,增加如下的内容

export HADOOP_PREFIX=/usr/hadoopexport PATH=$PATH:$HADOOP_PREFIX/binexport PATH=$PATH:$HADOOP_PREFIX/sbinexport HADOOP_MAPRED_HOMD=${HADOOP_PREFIX}export HADOOP_COMMON_HOME=${HADOOP_PREFIX}export HADOOP_HDFS_HOME=${HADOOP_PREFIX}export YARN_HOME=${HADOOP_PREFIX}export HADOOP_CONF_DIR=${HADOOP_PREFIX}/etc/hadoopexport HDFS_CONF_DIR=${HADOOP_PREFIX}/etc/hadoopexport YARN_CONF_DIR=${HADOOP_PREFIX}/etc/hadoop

  1.3 执行 source /etc/profile 操作,使配置生效

 

2. 进行Hadoop的设置

  2.1 修改core-site.xml 文件(文件位置 /usr/hadoop/etc/hadoop/),添加如下内容

fs.defaultFS
hdfs://localhost:8020

  2.2 修改hdfs-site.xml文件,位置如上,添加如下内容

dfs.namenode.name.dir
file:/usr/hadoop/dfs/name
true
dfs.datanode.data.dir
file:/usr/hadoop/dfs/data
true
dfs.replication
1
dfs.permissions
false

  2.3 创建 mapred-site.xml文件,可以使用 mapred-site.xml.template模板,书写如下的内容

mapreduce.framework.name
yarn

  2.4 编辑  yarn-site.xml文件,增加如下内容

yarn.nodemanager.aux-services
mapreduce.shuffle

  2.5 创建必要的目录

    因为配置中有usr/hadoop/dfs/data,/usr/hadoop/dfs/name两个不存在的目录,请建立这两个目录

 

3. 启动Hadoop

  3.1 格式化 namenode

hdfs namenode -format

  3.2 运行  start-dfs.sh,执行的过程中需要多次输入密码

  3.3 执行 jps命令,查看一下,如果有类似如下的显示,证明启动成功

4792 NameNode5168 Jps1679 Bootstrap1633 Launcher4910 DataNode5062 SecondaryNameNode

 

4. 停止Hadoop 

  4.1 执行 stop-dfs.sh 命令,执行过程中需要多次输入密码

  4.2 执行 jps命令,查看一下,所有的NameNode和DataNode应该都消失了

 

5. 正常的情况下应该首先配置SSL免密码连接,此文不具体说明,请参考其他资料

 

 

 

转载于:https://www.cnblogs.com/hutou/p/hadoop2.html

你可能感兴趣的文章
2018 Multi-University Training Contest 10 - Count
查看>>
HDU6203 ping ping ping
查看>>
Fireworks基本使用
查看>>
Java基础常见英语词汇
查看>>
UINavigationController的视图层理关系
查看>>
POJ 1308 Is It A Tree?(并查集)
查看>>
N进制到M进制的转换问题
查看>>
php PDO (转载)
查看>>
[置顶] 一名优秀的程序设计师是如何管理知识的?
查看>>
highcharts曲线图
查看>>
extjs动态改变样式
查看>>
宏定义
查看>>
笔记:git基本操作
查看>>
【MemSQL Start[c]UP 3.0 - Round 1 C】 Pie Rules
查看>>
Ognl中“%”、“#”、“$”详解
查看>>
我对应用软件——美团的看法
查看>>
python第六篇文件处理类型
查看>>
ubuntu16系统磁盘空间/dev/vda1占用满的问题
查看>>
grid网格布局
查看>>
JSP常用标签
查看>>