33.Flink重启策略

Leefs 2022-02-14 AM 1260℃ 2条

[TOC]

### 前言

Flink支持不同的重启策略，这些重启策略控制着job失败后如何重启。集群可以通过默认的重启策略来重启，这个默认的重启策略通常在未指定重启策略的情况下使用，而如果Job提交的时候指定了重启策略，这个重启策略就会覆盖掉集群的默认重启策略。

### 一、概述

Flink默认重启策略可以通过配置文件`flink-conf.yaml`来进行配置，通过配置参数`restart-strategy`来指定相应的重启策略。如果未启用检查点，则使用“无重启”策略。如果激活了检查点但未配置重启策略，则使用“固定延迟策略”：`restart-strategy.fixed-delay.attempts: Integer.MAX_VALUE`尝试重启。

**重新启动策略列表：**

| **Restart Strategy** | **Value for restart-strategy** |
| -------------------- | ------------------------------ |
| Fixed delay          | fixed-delay                    |
| Failure rate         | failure-rate                   |
| No restart           | none                           |

**注意**

+ 如果没有启用 checkpointing，则使用无重启 (no restart) 策略。如果启用了 checkpointing，但没有配置重启策略，则使用固定间隔 (fixed-delay) 策略；
+ 重启策略可以在flink-conf.yaml中配置，表示全局的配置。也可以在应用代码中动态指定，会覆盖全局配置。

除了定义默认重启策略之外，还可以为每个Flink作业定义特定的重启策略。通过调用`setRestartStrategyon`上的方法以编程方式设置此重新启动策略`ExecutionEnvironment`。

请注意，这也适用于`StreamExecutionEnvironment`。

**示例**

在Flink Job中设置固定延迟重启策略

```java
val env = ExecutionEnvironment.getExecutionEnvironment()
env.setRestartStrategy(RestartStrategies.fixedDelayRestart(
  3, // 尝试重启次数
  Time.of(10, TimeUnit.SECONDS) // 延迟时间间隔
))
```

**说明**

如果发生故障，系统会尝试重新启动作业3次，并在连续重启尝试之间等待10秒。

### 二、配置项

**重启策略包含四大类：**

+ 固定延迟重启策略（Fixed Delay Restart Strategy）
+ 故障率重启策略（Failure Rate Restart Strategy）
+ 没有重启策略（No Restart Strategy）
+ 后背重启策略（Fallback Restart Strategy）

#### 2.1 固定延迟重启策略（Fixed Delay Restart Strategy）

固定延迟重启策略尝试给定次数重新启动作业。如果超过最大尝试次数，则作业最终会失败。

在两次连续重启尝试之间，重启策略等待一段固定的时间。

通过在`flink-conf.yaml`配置文件中设置以下配置参数，此策略默认启用。

```yaml
restart-strategy: fixed-delay
```

**配置参数**

+ `restart-strategy.fixed-delay.attempts`
  + **描述**：Flink在作业声明失败之前重试执行的次数。
  + **默认值**：1，或者`Integer.MAX_VALUE`如果通过检查点激活
+ `restart-strategy.fixed-delay.delay`
  + **描述**：延迟重试意味着在执行失败后，重新执行不会立即开始，而是仅在一定延迟之后。当程序与外部系统交互时，延迟重试可能会有所帮助，例如，在尝试重新执行之前，连接或挂起的事务应该达到超时。
  + **默认值**：`akka.ask.timeout`，如果通过检查点激活，则为10秒。

**示例**

+ `flink-conf.yaml`配置文件

```yaml
restart-strategy.fixed-delay.attempts: 3
restart-strategy.fixed-delay.delay: 10 s
```

+ 在代码中设置

#### 2.2 故障率重启策略（Failure Rate Restart Strategy）

故障率重启策略在故障后重新启动作业，但是当failure rate超过（每个时间间隔的故障）时，作业最终会失败。在两次连续重启尝试之间，重启策略等待一段固定的时间。

**失败率计算公式如下：**

失败率 = 失败次数/时间区间

+ **失败次数**：对应的配置项`restart-strategy.failure-rate.max-failures-per-interval`

+ **时间区间**：对应的配置项`restart-strategy.failure-rate.failure-rate-interval`

也就是说在该时间范围内，运行时失败次数超过配置的失败次数则任务最终失败；

通过在`flink-conf.yaml`中设置以下配置参数，此策略默认启用。

```yaml
restart-strategy: failure-rate
```

**配置参数**

+ `restart-strategy.failure-rate.max-failures-per-interval`
  + **描述**：失败作业之前给定时间间隔内的最大重启次数。
  + **默认值**：1
+ `restart-strategy.failure-rate.failure-rate-interval`
  + **描述**：测量故障率的时间间隔。
  + **默认值**：1分钟
+ `restart-strategy.failure-rate.delay`
  + **描述**：两次连续重启尝试之间的延迟。
  + **默认值**：akka.ask.timeout

**示例**

+ `flink-conf.yaml`配置文件

```yaml
restart-strategy.failure-rate.max-failures-per-interval: 3
restart-strategy.failure-rate.failure-rate-interval: 5 min
restart-strategy.failure-rate.delay: 10 s
```

+ 在代码中设置

```java
val env = ExecutionEnvironment.getExecutionEnvironment()
env.setRestartStrategy(RestartStrategies.failureRateRestart(
  3, // 一个时间段内的最大失败次数
  Time.of(5, TimeUnit.MINUTES), // 衡量失败次数的是时间段
  Time.of(10, TimeUnit.SECONDS) // 间隔
))
```

#### 2.3 没有重启策略（No Restart Strategy）

作业直接失败，不尝试重启。

通过在`flink-conf.yaml`中设置以下配置参数，此策略默认启用。

```yaml
restart-strategy: none
```

也可以在代码中直接设置no restart策略

```java
val env = ExecutionEnvironment.getExecutionEnvironment()
env.setRestartStrategy(RestartStrategies.noRestart())
```

#### 2.4 后背重启策略（Fallback Restart Strategy）

使用群集定义的重新启动策略。这对于启用检查点的流式传输程序很有帮助。默认情况下，如果没有定义其他重启策略，则选择固定延迟重启策略。

*附参考文章链接：*

*https://www.jianshu.com/p/22409ccc7905*

*https://www.jianshu.com/p/4be0fa07f29d*

标签: Flink

非特殊说明，本博所有文章均为博主原创。

如若转载，请注明出处：https://lilinchao.com/archives/1893.html

上一篇 32.Flink Checkpoint配置

下一篇 34.Flink保存点(Savepoints)介绍

评论啦~

已有 2 条评论

李金富

大佬，您经常使用scala吗？方便给个联系方式吗？
回复 2023-10-30 20:09
1. Leefs 博主
  @李金富
  
  也就是偶尔用用,有什么需要帮忙的吗?
  回复 2023-11-04 07:21

33.Flink重启策略

评论啦~

已有 2 条评论

栏目分类

标签云

友情链接申请

33.Flink重启策略

 评论啦~

已有 2 条评论

 栏目分类

标签云

友情链接申请

评论啦~

栏目分类

标签云

友情链接申请