Flink On Yarn HA 重启次数

前言

之前写的Flink HA 总结 中有提到重启次数 yarn.application-attempts 不生效，会一直重启，但是没有解决，本文补充一下该问题的解决方法。

版本

  • Flink 1.15.3
  • Yarn 3.1.1

解决方法

添加参数：

1
2
3
yarn.application-attempt-failures-validity-interval: 600000
或
yarn.application-attempt-failures-validity-interval: -1

more >>

展开全文 >>

Docker 安装 Oracle 11G

镜像

1
2
docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/akaiot/oracle_11g:latest
docker tag swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/akaiot/oracle_11g:latest docker.io/akaiot/oracle_11g:latest

创建并启动容器

1
2
3
mkdir -p /home/oracle/app/oracle11g/oradata
# 容器内端口默认1521，且通过 -p 参数修改不成功,所以只能修改外部的端口
docker run -itd --name oracle11g --restart=always -p 1523:1521 -v /home/oracle/app/oracle11g/oradata:/home/oracle/app/oracle11g/oradata docker.io/akaiot/oracle_11g:latest
more >>

展开全文 >>

Docker 安装 Oracle 12C

镜像

1
2
3
4
https://docker.aityp.com/image/docker.io/truevoly/oracle-12c:latest
docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/truevoly/oracle-12c:latest
docker tag  swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/truevoly/oracle-12c:latest  docker.io/truevoly/oracle-12c:latest
docker images

创建并启动容器

1
2
3
mkdir -p /home/oracle/app/oracle12c/oradata
# 容器内端口默认1521，且通过 -p 参数修改不成功,所以只能修改外部的端口
docker run -itd --name oracle12c --restart=always -p 1522:1521 -e ORACLE_PWD=oracle -v /home/oracle/app/oracle12c/oradata:/home/oracle/app/oracle12c/oradata docker.io/truevoly/oracle-12c:latest
more >>

展开全文 >>

Dinky 安装部署并配置提交 Flink Yarn 任务

官方文档

https://www.dinky.org.cn/docs/1.1/deploy_guide/normal_deploy

版本

  • dinky 1.1.0、1.2.3 当前最新发布版本为 1.2.3 ，但是官方文档最新稳定版为 1.1 ，所以先选择 1.1.0，验证通过后，再尝试 1.2.3 ，发现 1.1.0 和 1.2.3 的安装配置完全一样，都能正常使用。
  • Flink 1.15.3

安装包

https://github.com/DataLinkDC/dinky/releases/download/v1.1.0/dinky-release-1.15-1.1.0.tar.gz
https://github.com/DataLinkDC/dinky/releases/download/v1.2.3/dinky-release-1.15-1.2.3.tar.gz
more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

2016年本科毕业于合肥工业大学<br><br>信息与计算科学专业<br><br>目前在济南一家公司从事大数据的工作~~