频道栏目
IT货架 > > 正文
【Hadoop一】Hadoop伪集群环境搭建
网友分享于:Jun 12, 2018 11:38:51 PM    来源: IT货架   

本文在32位Unbuntu上搭建Hadoop2.5.2版本的伪集群环境。

 

一、创建Hadoop用户组和用户

添加hadoop用户组
sudo addgroup hadoop
hadoop用户组中添加一个用户 使用hadoop登陆 生成SSH证书,配置SSH加密key

 

ssh-keygen -t rsa -P ""

   创建完成后,创建的key的地址是: /home/hadoop/.ssh/id_rsa

~/.ssh/id_rsa.pub中的内容追加到~/.ssh/authorized_keys中,保存 执行ssh localhost,可见无密码即可登陆

 二、禁用IPv6

首先cat /proc/sys/net/ipv6/conf/all/disable_ipv6得到值是0,表示IPv6已经启动 执行如下命令,将它的值设为1
sudo vim /etc/sysctl.conf添加三行:net.ipv6.conf.all.disable_ipv6 = 1net.ipv6.conf.default.disable_ipv6 = 1net.ipv6.conf.lo.disable_ipv6 = 1

三、安装配置JDK和Hadoop环境变量

下载、安装JDK,配置环境变量
export JAVA_HOME=/software/devsoftware/jdk1.7.0_55export PATH=$JAVA_HOME/bin:$PATHsource /etc/profil

下载、解压Hadoop2.5.2并配置环境变量

    1.下载Hadoop2.5.2

        http://hadoop.apache.org/releases.html#Download

    2.  解压hadoop2.5.2,并配置hadoop的环境变量

 

export HADOOP_HOME=/home/hadoop/hadoop-2.5.2export PATH=$HADOOP_HOME/bin:$PATHsource /etc/profile

 四、配置Hadoop配置文件-core-site.xml

 

1. /home/hadoop/hadoop-2.5.2/etc/hadoop/core-site.xml

 

相关板块推荐

广告服务联系QQ:1134687142 | 网站地图

版权所有: IT货架- 内容来自互联网,仅供用于技术学习,请遵循相关法律法规. 京ICP备11030978号-1