博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
java hadoop 客户端,Hadoop之Java客户端操作HDFS
阅读量:5223 次
发布时间:2019-06-14

本文共 1622 字,大约阅读时间需要 5 分钟。

public class HdfsUtil {

private FileSystem fs = null;

@Before

public void init() throws Exception {

//读取classpath下的core-site.xml配置文件

Configuration conf = new Configuration();

//手动封装配置中需要读取的信息

conf.set("fs.defaultFS", "hdfs://192.168.2.100:9000");

//根据配置信息获取一个具体的客户端实例对象

fs = FileSystem.get(new URI("hdfs://192.168.2.100:9000"), conf, "hadoop");

}

@Test

//通过流上传文件

public void uploadByStream() throws IOException {

Path path = new Path("hdfs://192.168.2.100:9000/user/hadoop/mark.txt");

FSDataOutputStream dataOut = fs.create(path);

FileInputStream dataIn = new FileInputStream("c://mark.txt");

IOUtils.copy(dataIn, dataOut);

}

@Test

//通过封装好方法上传文件

public void uploadByMethods() throws IOException {

fs.copyFromLocalFile(new Path("c://mark.txt"), new Path("hdfs://192.168.2.100:9000/user/hadoop/mark.txt"));

}

@Test

//下载文件

public void download() throws IOException {

fs.copyToLocalFile(new Path("hdfs://192.168.2.100:9000/user/hadoop/mark.txt"),new Path("d://JAVA"));

}

@Test

//查看文件

public void listFiles() throws IOException {

RemoteIteratorfiles = fs.listFiles(new Path("/"), true);

while (files.hasNext()){

LocatedFileStatus file = files.next();

Path path = file.getPath();

System.out.println(path.getName());

}

System.out.println("------------------");

FileStatus[] fileStatuses = fs.listStatus(new Path("/"));

for (FileStatus fileStatus : fileStatuses){

String name = fileStatus.getPath().getName();

System.out.println(name);

}

}

@Test

//创建文件夹

public void mkdir() throws IOException {

fs.mkdirs(new Path("/user/mark"));

}

@Test

//删除文件或文件下

public void rm() throws IOException {

fs.delete(new Path("/user/mark"),true);

}

}

转载地址:http://ilatv.baihongyu.com/

你可能感兴趣的文章
优秀员工一定要升职吗
查看>>
[LintCode] 462 Total Occurrence of Target
查看>>
springboot---redis缓存的使用
查看>>
架构图-模型
查看>>
sql常见面试题
查看>>
jQuery总结第一天
查看>>
Java -- Swing 组件使用
查看>>
Software--Architecture--DesignPattern IoC, Factory Method, Source Locator
查看>>
poj1936---subsequence(判断子串)
查看>>
黑马程序员_Java基础枚举类型
查看>>
[ python ] 练习作业 - 2
查看>>
一位90后程序员的自述:如何从年薪3w到30w!
查看>>
在.net core上使用Entity FramWork(Db first)
查看>>
System.Net.WebException: 无法显示错误消息,原因是无法找到包含此错误消息的可选资源程序集...
查看>>
UIImage 和 iOS 图片压缩UIImage / UIImageVIew
查看>>
MongoDB的数据库、集合的基本操作
查看>>
ajax向后台传递数组
查看>>
疯狂JAVA16课之对象与内存控制
查看>>
[转载]树、森林和二叉树的转换
查看>>
WPF移动Window窗体(鼠标点击左键移动窗体自定义行为)
查看>>