Zookeeper 安装配置

前言

有时会需要安装开源的大数据集群进行测评或者验证问题，已经装过很多遍了，所以想系统的总结整理一下各个组件的安装部署，包括 Zookeeper、Hadoop、Hive、Spark 等。

版本

  • Zookeeper 3.5.6 3.8.4 3.9.3

    初始化

    包括主机名修改、SSH互信、JDK安装等

SSH互信

1
2
3
4
5
6
7
8
9
10
11
# 每个节点
ssh-keygen -t rsa

# 从 1节点执行，传到2
# 从 2节点执行，传到3
# 从 n-1节点执行，传到n
# 从 n节点执行，传到1
# 将 1节点authorized_keys传到其他所有节点
cd ~/.ssh
cat id_rsa.pub>>authorized_keys
scp authorized_keys 192.168.1.2:~/.ssh/

下载Zookeeper

下载地址：https://archive.apache.org/dist/zookeeper/

more >>

展开全文 >>

Conda 安装配置及常用命令

介绍

Conda 是一个开源的软件包和环境管理系统，在数据科学、机器学习、科学计算等领域广泛应用

主要用途

  • 环境管理：能够创建相互隔离的虚拟环境，每个环境可以有不同的 Python 版本以及不同的软件包版本，以此避免不同项目间的依赖冲突。比如，项目 A 依赖 Python 3.7 和 numpy 1.18，项目 B 依赖 Python 3.9 和 numpy 1.21，使用 Conda 就能为这两个项目分别创建独立的环境。
  • 软件包管理：Conda 可快速安装、更新和卸载软件包，并且能自动处理软件包之间的依赖关系。例如，安装 TensorFlow 时，Conda 会自动安装其依赖的 numpy、protobuf 等软件包。

    特点

  • 跨平台性：支持 Windows、macOS 和 Linux 等多种操作系统，在不同操作系统上都能使用相同的命令进行环境和软件包管理。
  • 多语言支持：虽然常与 Python 搭配使用，但也能管理其他编程语言的软件包，像 R、Java 等。
  • 强大的依赖解析：能自动分析并解决软件包之间的依赖冲突，保证安装的软件包版本相互兼容。

    核心概念

  • 环境（Environment）：一个独立的、隔离的软件包集合，其中包含特定版本的 Python 解释器和一系列软件包。你可以按需创建、激活、停用和删除环境。
  • 通道（Channel）：是软件包的存储库，Conda 会从通道中下载软件包。常见的通道有 defaults、conda-forge 等。不同通道可能包含不同的软件包或同一软件包的不同版本。
  • 软件包（Package）：是预先编译好的软件组件，可通过 Conda 进行安装、更新和卸载。 more >>

展开全文 >>

Yarn Application 日志总结

前言

总结整理 Yarn 任务运行日志。主要解决：

  • Web UI 查看运行中 yarn 任务对应的所有 container 的日志
  • Web Ui 查看已经结束的历史 yarn 任务对应的 所有 container 的日志
  • 任务异常结束后，如果日志聚合失败，保留 NodeManager 本地日志

版本

  • Flink 1.15.3
  • Hadoop 3.4.1、3.1.4

运行中的日志

命令行

在命令中查看：

1
yarn logs -applicationId <application ID>

Web UI

Resource Manager Web UI 默认端口：8088
3.4.1 和 3.1.4 的 Web UI 界面稍微有所不同：
3.4.1:

more >>

展开全文 >>

Flink Savepoints 总结

官网

https://nightlies.apache.org/flink/flink-docs-release-1.15/zh/docs/ops/state/savepoints/

测试任务

先起一个测试任务，就用之前文章中的 cdc_mysql2mysql

1
bin/sql-client.sh -f sql/cdc_mysql2mysql.sql

使用 YARN 触发 Savepoint

根据官方文档：

1
bin/flink savepoint :jobId [:targetDirectory] -yid :yarnAppId

那么命令应该为

1
bin/flink savepoint 24f61a106d31205a122b66e45b2984e7 /savepoint/cdc_mysql2mysql -yid application_1750755047138_0076

more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

2016年本科毕业于合肥工业大学<br><br>信息与计算科学专业<br><br>目前在济南一家公司从事大数据的工作~~