java读写hdfs文件

  |   0 评论   |   0 浏览

背景

直接使用hadoop fs来下载文件太慢了，于是使用java多线程来下载。

初体验

依赖

                <dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-client</artifactId>
			<version>2.7.7</version>
		</dependency>

下载

写的不是很详细，略。

FileSystem fileSystem = VolumeFileSystem.get(conf);
FSDataInputStream inputStream = fileSystem.open(new Path(path));

参考