hadoop伪集群搭建

2021/9/13 6:35:05

本文主要是介绍hadoop伪集群搭建,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

操作系统centos8

1、安装jdk环境

 

 

 

 2、安装hadoop3.1.3和配置环境

链接:https://pan.baidu.com/s/1Hbo39A1-GagIkqtJByenpA
提取码:8epv

 

 

 

 

 

 3、准备一个hadoop用户

创建自定义组(组在用户之前创建)hadoop

 

 

 查看组信息:

 

 

 创建自定义的用户名hadoop,并设置登录密码

 

 

 

 

 查看用户名信息

 

 

 

 

 

 4、给刚创建的用户赋root权限

先修改sudoers配置文件权限

 

 

 赋640权限

修改配置文件,改完之后将权限恢复为440

 

 

 5、用root账号修改hostname

 

 

 永久修改Hostname

 

 

 

 

 

 6、配置映射

vim /etc/hosts

前面是你服务器的Ip

 

 

 7、配置ssh(自己免密登录自己)hdfs环境必须

 

 

 这里ssh登录自己需要输入密码

yum install openssh-server -y

查看sshd状态

 

 

生成公钥和私钥对,通过rsa非对称加密,-C是注释 (这里其实应该在hadoop用户下操作)

 

 

 将公钥发送给需要免密登录的服务器,这里是本机

 

 

 测试

 

 

 8、为了方便后面hadoop用非root用户hadoop安装,将hadoop安装路径赋权限,修改用户。

 

 

9、修改hadoop配置

1)修改hadoop-env.sh文件

这款里配置jdk和hadoop配置文件绝对路径,防止多个jdk或者hadoop路径找不到

 

 

 

 

 

 2)修改core-site.xml文件

创建tmp存放hadoop产生的文件

 

 

 3)修改hdfs-site.xml文件

 

 

 4)修改mapred-site.xml

 

 

 5)修改yarn-site.xml ()

 

 

 6)修改workers内容(配置从节点的主机名或ip地址)

改为hadoop

10、启动hadoop

1)初始化namenode

 

 

 

 

 

 2)启动Hdfs(这里用hadoop这个用户启动)

这里可能出现的错误:可能hadoop的执行文件的权限不够,也可能hadoop不是用非root用户启动,还可能ssh非对称加密没有在hadoop用户下生成

 

 

 3)启动yarn

 

 

 11、检测启动的hdfs和yarn(这里服务器需要开放端口)

11637   resourcemanager

11734   ndoemanager

11241  datanode

11146  namenode

12075  jps

11436  secondarynamenode

 



这篇关于hadoop伪集群搭建的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程