Linux__hadoop免密登录&JavaToJDFS
2022/4/19 7:12:34
本文主要是介绍Linux__hadoop免密登录&JavaToJDFS,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
配置ssh免登陆
生成ssh免登陆密钥
cd ~,进入到我的home目录
cd .ssh/
ssh-keygen -t rsa (四个回车)
执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
将公钥拷贝到要免登陆的机器上
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys cat是查看
或
ssh-copy-id -i localhost
关闭所有
stop-all.sh
开启所有
start-all.shhadoop写java代码
1.创建一个工程
2.lib包放在工程目录下,并将lib包添加到库
3.写Java文件
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.junit.Before; import org.junit.Test; import java.net.URI;
windows系统的hadoop可以不配置系统变量,直接配置Path
public class JavaToHDFS{ //定义类变量:文件系统,用来连接hdfs FileSystem fs=null; //预处理 @Before public void init() throws Exception{ fs=FileSystem.get(new URI("hdfs://192.168.153.129:9000"),new Configuration(),"root"); } @Test public void mkdir(){ System.out.println(fs) } }
4.在windows系统安装带有winutils.exe的hadoop,并配置环境变量
可以不配置系统变量,直接配置Path
这篇关于Linux__hadoop免密登录&JavaToJDFS的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-13TiDB + ES:转转业财系统亿级数据存储优化实践
- 2024-05-09“2024鸿蒙零基础快速实战-仿抖音App开发(ArkTS版)”实战课程已上线
- 2024-05-09聊聊如何通过arthas-tunnel-server来远程管理所有需要arthas监控的应用
- 2024-05-09log4j2这么配就对了
- 2024-05-09nginx修改Content-Type
- 2024-05-09Redis多数据源,看这篇就够了
- 2024-05-09Google Chrome驱动程序 124.0.6367.62(正式版本)去哪下载?
- 2024-05-09有没有大佬知道这种数据应该怎么抓取呀?
- 2024-05-09这种运行结果里的10.100000001,怎么能最快改成10.1?
- 2024-05-09企业src漏洞挖掘-有意思的命令执行