Yarn Application 日志总结

前言

总结整理 Yarn 任务运行日志。主要解决：

  • Web UI 查看运行中 yarn 任务对应的所有 container 的日志
  • Web Ui 查看已经结束的历史 yarn 任务对应的 所有 container 的日志
  • 任务异常结束后，如果日志聚合失败，保留 NodeManager 本地日志

版本

  • Flink 1.15.3
  • Hadoop 3.4.1、3.1.4

运行中的日志

命令行

在命令中查看：

1
yarn logs -applicationId <application ID>

Web UI

Resource Manager Web UI 默认端口：8088
3.4.1 和 3.1.4 的 Web UI 界面稍微有所不同：
3.4.1:

more >>

展开全文 >>

Flink Savepoints 总结

官网

https://nightlies.apache.org/flink/flink-docs-release-1.15/zh/docs/ops/state/savepoints/

测试任务

先起一个测试任务，就用之前文章中的 cdc_mysql2mysql

1
bin/sql-client.sh -f sql/cdc_mysql2mysql.sql

使用 YARN 触发 Savepoint

根据官方文档：

1
bin/flink savepoint :jobId [:targetDirectory] -yid :yarnAppId

那么命令应该为

1
bin/flink savepoint 24f61a106d31205a122b66e45b2984e7 /savepoint/cdc_mysql2mysql -yid application_1750755047138_0076

more >>

展开全文 >>

Flink Oracle CDC 总结

官方文档

https://nightlies.apache.org/flink/flink-cdc-docs-release-3.3/zh/docs/connectors/flink-sources/oracle-cdc/

版本

Oracle 安装

Docker 安装 Oracle 11G
Docker 安装 Oracle 12C

more >>

展开全文 >>

Flink On Yarn HA 重启次数

前言

之前写的Flink HA 总结 中有提到重启次数 yarn.application-attempts 不生效，会一直重启，但是没有解决，本文补充一下该问题的解决方法。

版本

  • Flink 1.15.3
  • Yarn 3.1.1

解决方法

添加参数：

1
2
3
yarn.application-attempt-failures-validity-interval: 600000
或
yarn.application-attempt-failures-validity-interval: -1

more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

2016年本科毕业于合肥工业大学<br><br>信息与计算科学专业<br><br>目前在济南一家公司从事大数据的工作~~