Hadoop基本信息

**Hadoop 基本信息**

Hadoop 是一个开源的大数据处理框架，最初由 Yahoo! 公司的 Doug Cutting 和 Mike Cafarella 开发。它基于 Google 的 MapReduce 算法，并且可以在分布式计算环境中运行。

**历史背景**

在2004 年，Google 发布了 MapReduce 论文，这个算法解决了大规模数据处理的问题。随后，Yahoo! 公司的 Doug Cutting 和 Mike Cafarella 开始开发 Hadoop 框架，以便于使用 MapReduce 算法进行大数据处理。

**Hadoop 的特点**

1. **分布式计算**: Hadoop 支持分布式计算环境，可以在多台机器上并行执行任务。
2. **可扩展性**: Hadoop 可以根据需求动态增加或减少计算资源。
3. **高吞吐量**: Hadoop 可以处理大量数据，并且可以实现高吞吐量的数据处理。
4. **低成本**: Hadoop 是一个开源框架，可以在廉价的硬件上运行。

**Hadoop 的组成部分**

1. **HDFS (Hadoop Distributed File System)**: HDFS 是 Hadoop 的分布式文件系统，用于存储和管理大数据。
2. **MapReduce**: MapReduce 是 Hadoop 的计算框架，用于处理大数据。
3. **YARN (Yet Another Resource Negotiator)**: YARN 是 Hadoop 的资源管理器，用于管理计算资源。

**HDFS 基本信息**

1. **块大小**: HDFS 的块大小可以根据需求动态调整。
2. **复制因子**: HDFS 支持数据复制，以便于实现高可用性和容错能力。
3. **NameNode 和 DataNode**: HDFS 有两个主要组件：NameNode 和 DataNode。NameNode 负责管理块的元数据，而 DataNode 负责存储实际的块。

**MapReduce 基本信息**

1. **Mapper 和 Reducer**: MapReduce 的计算过程由 Mapper 和 Reducer 组成。
2. **InputFormat 和 OutputFormat**: MapReduce 支持自定义 InputFormat 和 OutputFormat，以便于处理不同类型的数据。
3. **Partitioner**: MapReduce 支持 Partitioner 以便于分区数据。

**YARN 基本信息**

1. **ResourceManager 和 ApplicationMaster**: YARN 有两个主要组件：ResourceManager 和 ApplicationMaster。ResourceManager 负责管理资源，而 ApplicationMaster 负责管理应用程序。
2. **Container**: YARN 支持 Container 以便于管理资源和应用程序。

**示例代码**

### HDFS 示例

java// 创建一个 HDFS 客户端Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost:9000");
FileSystem fs = FileSystem.get(conf);

//上传一个文件到 HDFSPath path = new Path("/user/hadoop/input.txt");
FSDataOutputStream out = fs.create(path);
out.writeBytes("Hello, Hadoop!");
out.close();

// 下载一个文件从 HDFSPath outputPath = new Path("/user/hadoop/output.txt");
FSDataInputStream in = fs.open(path);
byte[] bytes = new byte[1024];
int len = in.read(bytes);
while (len != -1) {
 System.out.println(new String(bytes,0, len));
 len = in.read(bytes);
}
in.close();

java// 定义一个 Mapper 类public class WordCountMapper extends Mapper {
 private final static IntWritable one = new IntWritable(1);

 @Override public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
 String[] words = value.toString().split("s+");
 for (String word : words) {
 context.write(new Text(word), one);
 }
 }
}

// 定义一个 Reducer 类public class WordCountReducer extends Reducer {
 @Override public void reduce(Text key, Iterable values, Context context) throws IOException, InterruptedException {
 int sum =0;
 for (IntWritable value : values) {
 sum += value.get();
 }
 context.write(key, new IntWritable(sum));
 }
}

// 定义一个 Driver 类public class WordCountDriver extends Configured {
 public static void main(String[] args) throws Exception {
 // 创建一个 JobConf 对象 Job job = Job.getInstance(conf);

 // 设置输入和输出路径 FileInputFormat.addInputPath(job, new Path("/user/hadoop/input.txt"));
 FileOutputFormat.setOutputPath(job, new Path("/user/hadoop/output.txt"));

 // 设置 Mapper 和 Reducer 类 job.setMapperClass(WordCountMapper.class);
 job.setReducerClass(WordCountReducer.class);

 // 设置输出类型 job.setOutputKeyClass(Text.class);
 job.setOutputValueClass(IntWritable.class);

 // 提交任务 System.exit(job.waitForCompletion(true) ?0 :1);
 }
}

java// 定义一个 ApplicationMaster 类public class MyApplicationMaster extends ApplicationMaster {
 @Override public void run(ApplicationContext context) throws IOException, InterruptedException {
 // 获取资源管理器 ResourceManager resourceManager = context.getResourceManager();

 // 获取应用程序的 ID String appId = context.getApplicationId().toString();

 // 创建一个任务 Job job = new Job(resourceManager, appId);

 // 设置输入和输出路径 FileInputFormat.addInputPath(job, new Path("/user/hadoop/input.txt"));
 FileOutputFormat.setOutputPath(job, new Path("/user/hadoop/output.txt"));

 // 提交任务 resourceManager.submitApplication(job);
 }
}