HDFS与MapResource笔记

**HDFS 与 MapReduce 笔记**

**1. HDFS 简介**

HDFS（Hadoop Distributed File System）是 Hadoop 生态系统中的一个核心组件，用于存储和管理大规模数据。它是一种分布式文件系统，能够高效地处理海量数据。

**1.1 HDFS 架构**

HDFS 的架构包括以下几个部分：

* **NameNode（NN）**: NameNode 是 HDFS 的核心组件，它负责维护和管理 HDFS 中的文件元数据。NameNode 将所有文件的元数据存储在内存中，通过周期性地将元数据写入到 EditLog 文件中来保证数据的一致性。
* **DataNode（DN）**: DataNode 是 HDFS 的存储组件，它负责存储和管理实际的文件块。每个 DataNode 都有一个 BlockManager，用于管理该节点上所有块的信息。
* **Client**: Client 是 HDFS 的客户端程序，它可以通过 RPC（Remote Procedure Call）协议与 NameNode 和 DataNode 进行通信。

**1.2 HDFS 文件系统**

HDFS 支持以下几种文件类型：

* **Block**: Block 是 HDFS 中的基本存储单位，每个块的大小都是固定的，通常为64MB。
* **File**: File 是 HDFS 中的一个逻辑文件，它可以由多个块组成。
* **Directory**: Directory 是 HDFS 中的一个目录，它可以包含多个文件和子目录。

**2. MapReduce 简介**

MapReduce 是 Hadoop 生态系统中的一个核心组件，用于处理大规模数据。它是一种分布式计算框架，能够高效地处理海量数据。

**2.1 MapReduce 架构**

MapReduce 的架构包括以下几个部分：

* **JobTracker（JT）**: JobTracker 是 MapReduce 的核心组件，它负责管理和调度 MapReduce任务。
* **TaskTracker（TT）**: TaskTracker 是 MapReduce 的执行组件，它负责执行 MapReduce任务。
* **Mapper**: Mapper 是 MapReduce 中的一个阶段，用于处理输入数据并产生中间结果。
* **Reducer**: Reducer 是 MapReduce 中的一个阶段，用于合并中间结果并产生最终输出。

**2.2 MapReduce 流程**

MapReduce 的流程包括以下几个步骤：

1. **Job 提交**: JobTracker 接收到用户提交的 MapReduce任务。
2. **Task 分配**: JobTracker 将任务分配给 TaskTracker 进行执行。
3. **Mapper 执行**: Mapper 阶段负责处理输入数据并产生中间结果。
4. **Reducer 执行**: Reducer 阶段负责合并中间结果并产生最终输出。

**3. HDFS 与 MapReduce 的关系**

HDFS 和 MapReduce 是紧密相关的两个组件，共同构成了 Hadoop 生态系统。HDFS 提供了存储和管理大规模数据的能力，而 MapReduce 提供了处理这些数据的能力。

**4.代码示例**

以下是使用 Java 编写的一个简单的 HDFS 和 MapReduce 程序：

javaimport org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCount {

 public static void main(String[] args) throws Exception {
 Configuration conf = new Configuration();
 Job job = Job.getInstance(conf, "word count");

 job.setJarByClass(WordCount.class);

 FileInputFormat.addInputPath(job, new Path("/user/hadoop/input"));
 FileOutputFormat.setOutputPath(job, new Path("/user/hadoop/output"));

 job.setMapperClass(Map.class);
 job.setReducerClass(Reduce.class);

 job.setOutputKeyClass(Text.class);
 job.setOutputValueClass(IntWritable.class);

 System.exit(job.waitForCompletion(true) ?0 :1);
 }

 public static class Map extends Mapper {
 private final static IntWritable one = new IntWritable(1);

 @Override protected void map(Object key, Text value, Context context)
 throws IOException, InterruptedException {
 String[] words = value.toString().split("s+");
 for (String word : words) {
 context.write(new Text(word), one);
 }
 }
 }

 public static class Reduce extends Reducer {

 @Override protected void reduce(Text key, Iterable values,
 Context context) throws IOException, InterruptedException {
 int sum =0;
 for (IntWritable val : values) {
 sum += val.get();
 }
 context.write(key, new IntWritable(sum));
 }
 }
}