Hadoop——HDFS的Java API操作（文件上传、下载、删除等）

**Hadoop HDFS Java API 操作**

Hadoop HDFS (Hadoop Distributed File System) 是一个分布式文件系统，用于存储和管理大规模数据。Java API 是一种使用 Java语言操作 HDFS 的接口。下面我们将介绍如何使用 Java API 进行文件上传、下载、删除等操作。

### 一、环境准备* 安装Hadoop环境（包括HDFS）
* 配置好Hadoop的环境变量* 使用Java IDE（如Eclipse或IntelliJ IDEA）进行开发### 二、创建一个Java项目首先，我们需要在IDE中创建一个新的Java项目。这里我们使用Eclipse作为示例。

1. 在Eclipse中新建一个Java项目，命名为"HDFS-Example"。
2. 将Hadoop的环境变量配置到项目中。

### 三、导入必要的jar包为了使用HDFS Java API，我们需要导入以下jar包：

* `hadoop-common.jar`
* `hadoop-hdfs.jar`

可以通过以下方式添加这些jar包：

1. 在Eclipse中，右键点击项目名称，选择"Properties"。
2. 在弹出的窗口中，选择"Java Build Path"。
3. 点击"Libraries"选项卡。
4. 点击"Add JARs..."按钮。
5.选择上述两个jar包。

### 四、编写HDFS Java API代码下面是使用HDFS Java API进行文件上传、下载、删除等操作的示例代码：

#### **1. 文件上传**

javaimport org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HDFSUpload {
 public static void main(String[] args) throws Exception {
 // 配置Hadoop环境变量 Configuration conf = new Configuration();
 // 创建一个HDFS实例 FileSystem fs = FileSystem.get(conf);
 // 指定上传文件的路径和名称 Path srcPath = new Path("/home/user/hdfs-example.txt");
 Path dstPath = new Path("/user/hdfs-example.txt");
 //上传文件 fs.copyFromLocalFile(srcPath, dstPath);
 System.out.println("文件已成功上传到HDFS!");
 }
}

javaimport org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HDFSDownload {
 public static void main(String[] args) throws Exception {
 // 配置Hadoop环境变量 Configuration conf = new Configuration();
 // 创建一个HDFS实例 FileSystem fs = FileSystem.get(conf);
 // 指定下载文件的路径和名称 Path srcPath = new Path("/user/hdfs-example.txt");
 Path dstPath = new Path("/home/user/hdfs-downloaded.txt");
 // 下载文件 fs.copyToLocalFile(srcPath, dstPath);
 System.out.println("文件已成功下载到本地!");
 }
}

javaimport org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;

public class HDFSDelete {
 public static void main(String[] args) throws Exception {
 // 配置Hadoop环境变量 Configuration conf = new Configuration();
 // 创建一个HDFS实例 FileSystem fs = FileSystem.get(conf);
 // 指定删除文件的路径和名称 Path path = new Path("/user/hdfs-example.txt");
 // 删除文件 fs.delete(path, true);
 System.out.println("文件已成功删除!");
 }
}