Hadoop_JAVA操作HDFS

本文主要是介绍Hadoop_JAVA操作HDFS，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

之前已经在虚拟机上安装好了hadoop,下面纪录下用java操作hdfs和中间遇到的一些问题,使用的是伪分布式模式

一 本地配置hadoop环境变量

此处默认已经具备jdk环境.
将hadoop的压缩包解压到任意目录

在环境变量中配置HADOOP_HOME变量,值为hadoop所在的目录

二、编写测试类

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.junit.Before;
import org.junit.Test;

import java.net.URI;


public class JavaToHDFS {
    // 定义类变量：文件系统，用来链接hdfs
    FileSystem fs = null;

    //预处理，链接hdfs
    @Before
    public void init() throws Exception {
        fs = FileSystem.get(new URI("hdfs://192.168.10.102:9000"), new Configuration(), "root");
    }

    @Test
    public void mkdir() {
        System.out.println(fs);
    }
}

测试会发现会报一个这样的错误

这是因为在本地运行hadoop程序需要依赖一些依赖库和工具类,需要工具的可以直接搜索你对应Hadoop版本的winutils.exe

下载完后吧他bin里面的文件全部拷贝到Hadoop的bin文件中

添加完后就可以正常运行了

这篇关于Hadoop_JAVA操作HDFS的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！