Hive3.1.2伪分布式安装
发布人:shili8
发布时间:2024-11-20 03:38
阅读次数:0
**Hive3.1.2伪分布式安装**
**前言**
Hive 是一个基于 Hadoop 的数据仓库工具,用于将结构化数据存储在 HDFS 上。Hive3.1.2 是当前的稳定版本,我们将在本文中介绍如何在伪分布式环境下安装和配置 Hive。
**硬件要求**
*机器数量:至少3 台(Master、Slave1、Slave2)
* CPU:Intel Core i5 或以上* 内存:8GB RAM 或以上* 存储:至少100GB 空间**软件要求**
* Hadoop3.1.2* Java8 或以上* Hive3.1.2**安装步骤**
### **步骤1: 安装 Hadoop**
首先,我们需要安装 Hadoop。我们将使用 Hadoop 的源码编译。
bash# 下载 Hadoop 源码wget 解压 Hadoop 源码tar -xvf hadoop-3.1.2.tar.gz# 进入 Hadoop 目录cd hadoop-3.1.2# 配置 Hadoopmv conf.dist confcp conf/hdfs-site.xml.template conf/hdfs-site.xmlcp conf/core-site.xml.template conf/core-site.xml# 编辑 hdfs-site.xml 和 core-site.xml 文件vim conf/hdfs-site.xmlvim conf/core-site.xml
在 `hdfs-site.xml` 中,配置 HDFS 的伪分布式环境:
xml<property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property>
在 `core-site.xml` 中,配置 Hadoop 的伪分布式环境:
xml<property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/tmp/hadoop-${user.name}</value> </property>
### **步骤2: 安装 Java**
接下来,我们需要安装 Java。我们将使用 OpenJDK。
bash# 下载 OpenJDKwget 解压 OpenJDKtar -xvf jdk8u202-linux-x64.tar.gz# 进入 OpenJDK 目录cd jdk1.8.0_202# 配置环境变量export JAVA_HOME=/usr/local/jdk1.8.0_202export PATH=$JAVA_HOME/bin:$PATH
### **步骤3: 安装 Hive**
最后,我们需要安装 Hive。我们将使用 Hive 的源码编译。
bash# 下载 Hive 源码wget 解压 Hive 源码tar -xvf hive-3.1.2.tar.gz# 进入 Hive 目录cd hive-3.1.2# 配置 Hivemv conf.dist confcp conf/hive-site.xml.template conf/hive-site.xml# 编辑 hive-site.xml 文件vim conf/hive-site.xml
在 `hive-site.xml` 中,配置 Hive 的伪分布式环境:
xml<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:derby://localhost:1527/default;create=true</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>app</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>password</value> </property> <property> <name>hive.metastore.exec.dfs.uri</name> <value>hdfs://localhost:9000</value> </property>
### **步骤4: 启动 Hadoop**
启动 Hadoop:
bash# 启动 HDFSstart-dfs.sh# 启动 YARNyarn start-yarn.sh
### **步骤5: 启动 Hive**
启动 Hive:
bash# 启动 Hivehive --service metastore --hiveconf hive.metastore.exec.dfs.uri=hdfs://localhost:9000
**总结**
在本文中,我们介绍了如何在伪分布式环境下安装和配置 Hive3.1.2。我们首先安装 Hadoop 和 Java,然后安装 Hive。最后,我们启动 Hadoop 和 Hive。通过这些步骤,用户可以轻松地在自己的机器上部署一个完整的 Hadoop 和 Hive 环境。
**参考**
* [Hive3.1.2 文档]( />* [Hadoop3.1.2 文档]( />* [Java8 文档](