flink on yarn 中的flink-conf.yaml参数

Flink on YARN 是 Apache Flink 的一个部署方式，允许在 YARN 上运行 Flink任务。为了配置 Flink on YARN，我们需要修改 `flink-conf.yaml` 文件中的某些参数。

**1. flink.yarn.jar**

该参数指定了 Flink 的 JAR 文件的位置，这个文件包含了 Flink 的核心类和依赖项。

yaml# flink-conf.yaml# ...

flink.yarn.jar: /path/to/flink-jar.jar

示例代码：

java// FlinkJob.javapublic class FlinkJob {
 public static void main(String[] args) throws Exception {
 // ...
 }
}

在 `pom.xml` 文件中添加依赖项：

xml<dependencies>
 <dependency>
 <groupId>org.apache.flink</groupId>
 <artifactId>flink-core</artifactId>
 <version>1.14.2</version>
 </dependency>
</dependencies>

**2. flink.yarn.classpath**

该参数指定了 Flink 的类路径，这个类路径包含了 Flink 的核心类和依赖项。

yaml# flink-conf.yaml# ...

flink.yarn.classpath: /path/to/flink-jar.jar:/path/to/other-dependencies.jar

示例代码：

java// FlinkJob.javapublic class FlinkJob {
 public static void main(String[] args) throws Exception {
 // ...
 }
}

在 `pom.xml` 文件中添加依赖项：

xml<dependencies>
 <dependency>
 <groupId>org.apache.flink</groupId>
 <artifactId>flink-core</artifactId>
 <version>1.14.2</version>
 </dependency>
 <dependency>
 <groupId>com.example</groupId>
 <artifactId>other-dependencies</artifactId>
 <version>1.0</version>
 </dependency>
</dependencies>

**3. flink.yarn.taskmanager.memory**

该参数指定了 Flink 的 TaskManager 内存大小。

yaml# flink-conf.yaml# ...

flink.yarn.taskmanager.memory:1024m

示例代码：

java// FlinkJob.javapublic class FlinkJob {
 public static void main(String[] args) throws Exception {
 // ...
 }
}

**4. flink.yarn.taskmanager.cpu**

该参数指定了 Flink 的 TaskManager CPU 核数。

yaml# flink-conf.yaml# ...

flink.yarn.taskmanager.cpu:2

示例代码：

java// FlinkJob.javapublic class FlinkJob {
 public static void main(String[] args) throws Exception {
 // ...
 }
}

**5. flink.yarn.application.jar**

该参数指定了 Flink 的应用 JAR 文件的位置。

yaml# flink-conf.yaml# ...

flink.yarn.application.jar: /path/to/flink-app-jar.jar

示例代码：

java// FlinkApp.javapublic class FlinkApp {
 public static void main(String[] args) throws Exception {
 // ...
 }
}

在 `pom.xml` 文件中添加依赖项：

xml<dependencies>
 <dependency>
 <groupId>org.apache.flink</groupId>
 <artifactId>flink-core</artifactId>
 <version>1.14.2</version>
 </dependency>
</dependencies>

**6. flink.yarn.application.classpath**

该参数指定了 Flink 的应用类路径。

yaml# flink-conf.yaml# ...

flink.yarn.application.classpath: /path/to/flink-app-jar.jar:/path/to/other-dependencies.jar

示例代码：

java// FlinkApp.javapublic class FlinkApp {
 public static void main(String[] args) throws Exception {
 // ...
 }
}

在 `pom.xml` 文件中添加依赖项：

xml<dependencies>
 <dependency>
 <groupId>org.apache.flink</groupId>
 <artifactId>flink-core</artifactId>
 <version>1.14.2</version>
 </dependency>
 <dependency>
 <groupId>com.example</groupId>
 <artifactId>other-dependencies</artifactId>
 <version>1.0</version>
 </dependency>
</dependencies>

这些参数可以在 `flink-conf.yaml` 文件中配置，以便于 Flink on YARN 的部署和运行。