当前位置:实例文章 » 其他实例» [文章]Hive3.1.2伪分布式安装

Hive3.1.2伪分布式安装

发布人:shili8 发布时间:2024-11-20 03:38 阅读次数:0

**Hive3.1.2伪分布式安装**

**前言**

Hive 是一个基于 Hadoop 的数据仓库工具,用于将结构化数据存储在 HDFS 上。Hive3.1.2 是当前的稳定版本,我们将在本文中介绍如何在伪分布式环境下安装和配置 Hive。

**硬件要求**

*机器数量:至少3 台(Master、Slave1、Slave2)
* CPU:Intel Core i5 或以上* 内存:8GB RAM 或以上* 存储:至少100GB 空间**软件要求**

* Hadoop3.1.2* Java8 或以上* Hive3.1.2**安装步骤**

### **步骤1: 安装 Hadoop**

首先,我们需要安装 Hadoop。我们将使用 Hadoop 的源码编译。

bash# 下载 Hadoop 源码wget  解压 Hadoop 源码tar -xvf hadoop-3.1.2.tar.gz# 进入 Hadoop 目录cd hadoop-3.1.2# 配置 Hadoopmv conf.dist confcp conf/hdfs-site.xml.template conf/hdfs-site.xmlcp conf/core-site.xml.template conf/core-site.xml# 编辑 hdfs-site.xml 和 core-site.xml 文件vim conf/hdfs-site.xmlvim conf/core-site.xml


在 `hdfs-site.xml` 中,配置 HDFS 的伪分布式环境:

xml<property>
 <name>fs.defaultFS</name>
 <value>hdfs://localhost:9000</value>
</property>

<property>
 <name>dfs.replication</name>
 <value>1</value>
</property>


在 `core-site.xml` 中,配置 Hadoop 的伪分布式环境:

xml<property>
 <name>fs.defaultFS</name>
 <value>hdfs://localhost:9000</value>
</property>

<property>
 <name>hadoop.tmp.dir</name>
 <value>/tmp/hadoop-${user.name}</value>
</property>


### **步骤2: 安装 Java**

接下来,我们需要安装 Java。我们将使用 OpenJDK。

bash# 下载 OpenJDKwget  解压 OpenJDKtar -xvf jdk8u202-linux-x64.tar.gz# 进入 OpenJDK 目录cd jdk1.8.0_202# 配置环境变量export JAVA_HOME=/usr/local/jdk1.8.0_202export PATH=$JAVA_HOME/bin:$PATH


### **步骤3: 安装 Hive**

最后,我们需要安装 Hive。我们将使用 Hive 的源码编译。

bash# 下载 Hive 源码wget  解压 Hive 源码tar -xvf hive-3.1.2.tar.gz# 进入 Hive 目录cd hive-3.1.2# 配置 Hivemv conf.dist confcp conf/hive-site.xml.template conf/hive-site.xml# 编辑 hive-site.xml 文件vim conf/hive-site.xml


在 `hive-site.xml` 中,配置 Hive 的伪分布式环境:

xml<property>
 <name>javax.jdo.option.ConnectionURL</name>
 <value>jdbc:derby://localhost:1527/default;create=true</value>
</property>

<property>
 <name>javax.jdo.option.ConnectionUserName</name>
 <value>app</value>
</property>

<property>
 <name>javax.jdo.option.ConnectionPassword</name>
 <value>password</value>
</property>

<property>
 <name>hive.metastore.exec.dfs.uri</name>
 <value>hdfs://localhost:9000</value>
</property>


### **步骤4: 启动 Hadoop**

启动 Hadoop:

bash# 启动 HDFSstart-dfs.sh# 启动 YARNyarn start-yarn.sh


### **步骤5: 启动 Hive**

启动 Hive:

bash# 启动 Hivehive --service metastore --hiveconf hive.metastore.exec.dfs.uri=hdfs://localhost:9000


**总结**

在本文中,我们介绍了如何在伪分布式环境下安装和配置 Hive3.1.2。我们首先安装 Hadoop 和 Java,然后安装 Hive。最后,我们启动 Hadoop 和 Hive。通过这些步骤,用户可以轻松地在自己的机器上部署一个完整的 Hadoop 和 Hive 环境。

**参考**

* [Hive3.1.2 文档]( />* [Hadoop3.1.2 文档]( />* [Java8 文档](

相关标签:
其他信息

其他资源

Top