目录
第1关：HDFS的基本操作
第2关：HDFS-JAVA接口之读取文件
第3关：HDFS-JAVA接口之上传文件
第4关：HDFS-JAVA接口之删除文件
第1关：HDFS的基本操作
# 1. 启动Hadoop
start-all.sh # 启动Hadoop集群
# 或使用以下两个命令分别启动
start-dfs.sh
start-yarn.sh# 2. 在HDFS创建目录
hadoop fs -mkdir -p /usr/output/# 3. 创建本地文件hello.txt并添加内容
echo "HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。" > hello.txt# 4. 将hello.txt上传至HDFS指定目录
hadoop fs -put hello.txt /usr/output/# 5. 删除HDFS的指定目录
hadoop fs -rm -r /user/hadoop# 6. 将HDFS的文件复制到本地目录
hadoop fs -get /usr/output/hello.txt /usr/local/第2关：HDFS-JAVA接口之读取文件
package step2;import java.io.IOException;
import java.io.InputStream;
import java.net.URI;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;public class FileSystemCat {public static void main(String[] args) throws IOException {//请在Begin-End之间添加你的代码，完成任务要求。//请按照左侧的编程要求进行编写代码//文件地址为 "hdfs://localhost:9000/user/hadoop/task.txt"/********* Begin *********/String uri = "hdfs://localhost:9000/user/hadoop/task.txt";Configuration conf = new Configuration();FileSystem fs = FileSystem.get(URI.create(uri), conf);InputStream in = null;try {in = fs.open(new Path(uri));IOUtils.copyBytes(in, System.out, 4096, false);} finally {IOUtils.closeStream(in);}/********* End *********/}
}第3关：HDFS-JAVA接口之上传文件
# 启动Hadoop
start-all.sh# 创建目录（如果不存在）
mkdir -p /develop/input/# 创建文件并写入内容
cat > /develop/input/hello.txt << 'EOF'
迢迢牵牛星，皎皎河汉女。
纤纤擢素手，札札弄机杼。
终日不成章，泣涕零如雨。
河汉清且浅，相去复几许？
盈盈一水间，脉脉不得语。
《迢迢牵牛星》
EOF# 确保文件写入成功
cat /develop/input/hello.txt# 创建HDFS目标目录（如果不存在）
hadoop fs -mkdir -p /user/tmp/package step3;import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.InputStream;
import java.net.URI;
import java.io.File;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;public class FileSystemUpload {public static void main(String[] args) throws IOException {/********* Begin *********/String localSrc = "/develop/input/hello.txt";String dst = "hdfs://localhost:9000/user/tmp/hello.txt";Configuration conf = new Configuration();FileSystem fs = FileSystem.get(URI.create(dst), conf);// 获取文件大小File localFile = new File(localSrc);final long fileSize = localFile.length();InputStream in = null;FSDataOutputStream out = null;try {in = new BufferedInputStream(new FileInputStream(localFile));// 显示初始进度System.out.println("总进度0%");out = fs.create(new Path(dst), new Progressable() {public void progress() {// 这里什么都不做，仅用于创建输出流}});// 复制文件内容IOUtils.copyBytes(in, out, 4096, false);// 完成后显示100%进度System.out.println("总进度100%");// 显示文件内容InputStream contentIn = fs.open(new Path(dst));IOUtils.copyBytes(contentIn, System.out, 4096, true);} finally {IOUtils.closeStream(in);IOUtils.closeStream(out);}/********* End *********/}
}第4关：HDFS-JAVA接口之删除文件
package step4;import java.io.IOException;
import java.net.URI;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileUtil;
import org.apache.hadoop.fs.Path;public class FileSystemDelete {public static void main(String[] args) throws IOException {/********* Begin *********/// 创建Configuration对象Configuration conf = new Configuration();FileSystem fs = FileSystem.get(URI.create("hdfs://localhost:9000"), conf);try {// 1. 删除/user/hadoop/目录 (使用递归删除因为目录非空)Path hadoopPath = new Path("/user/hadoop");fs.delete(hadoopPath, true);// 2. 删除/tmp/test/目录Path testPath = new Path("/tmp/test");fs.delete(testPath, true);// 3. 只列出根目录下的文件和文件夹FileStatus[] rootStatus = fs.listStatus(new Path("/"));for (FileStatus status : rootStatus) {System.out.println("hdfs://localhost:9000" + status.getPath().toUri().getPath());}} finally {fs.close();}/********* End *********/}
}
