Flink HA 总结

前言

总结 Flink HA

版本

  • Flink 1.15.3、1.15.4

官方文档

https://nightlies.apache.org/flink/flink-docs-release-1.19/zh/docs/deployment/ha/overview/

由官方文档可知：

  • HA 是对于 JobManager 的故障恢复，默认情况下，每个 Flink 集群只有一个 JobManager 实例，如果 JobManager 崩溃，则不能提交任何新程序，运行中的程序也会失败。如果配置了HA，则可以从 JobManager 失败中恢复。而对于 TaskManager ,HA 则不生效，可以通过配置 Flink 重启策略和故障恢复策略
  • 支持两种高可用：ZooKeeper、Kubernetes，本文只总结 ZooKeeper 高可用 more >>

展开全文 >>

Flink 源码编译

打包命令

打包整个项目

1
mvn clean package -DskipTests -Drat.skip=true

打包单个模块

1
mvn clean package -DskipTests -Drat.skip=true -pl flink-dist

如果该模块依赖其他模块，可能需要先将其他模块 install 到本地，如果依赖的模块的源代码有修改，则需要重新install，比如 flink-dist 依赖的 flink-clients 模块源代码有改动，则需要先：

1
mvn clean install -DskipTests -Drat.skip=true -pl flink-clients

修改代码

如果要打的源代码修改过，那么需要先执行：

1
2
3
mvn spotless:apply
# 或只对单个模块
mvn spotless:apply -pl flink-clients

否则会报：

1
2
3
The following files had format violations:
……
Run 'mvn spotless:apply' to fix these violations.

more >>

展开全文 >>

Linux 和 Windows 安装 Clash 并配置代理

前言

上篇文章 讲了 Ghelper 的安装配置，并在最后提到 Ghelper 只是可以通过浏览器访问，要想在 Linux 服务器或者 Windows 本地命令行中，则可以通过 Clash 代理的方式。

Linux

安装

1
2
3
4
5
6
mkdir /usr/local/clash
cd /usr/local/clash
wget https://github.com/Kuingsmile/clash-core/releases/download/1.18/clash-linux-amd64-v1.18.0.gz
gunzip -d clash-linux-amd64-v1.18.0.gz
chmod +x clash-linux-amd64-v1.18.0
ln -s clash-linux-amd64-v1.18.0 clash

运行

1
2
cd /usr/local/clash
./clash
more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

2016年本科毕业于合肥工业大学<br><br>信息与计算科学专业<br><br>目前在济南一家公司从事大数据的工作~~