PolarDB-for-PostgreSQL 安装配置

前言

有客户用的数据库为 PolarDB-for-PostgreSQL 11 版本，为了验证 Flink CDC 是否适配，先在本地安装一个开源版本验证一下。

版本

  • PolarDB-for-PostgreSQL 11.22

    源码

    克隆源码，然后切换对应的分支:
    1
    git clone https://github.com/ApsaraDB/PolarDB-for-PostgreSQL.git

或者浏览器直接下载对应分支的zip包：
https://github.com/ApsaraDB/PolarDB-for-PostgreSQL/archive/refs/heads/REL_11_STABLE.zip

安装依赖

1
sudo yum install -y git gcc gcc-c++ make readline readline-devel zlib-devel libxml2-devel libxslt-devel openssl-devel

编译安装

1
2
3
./configure --prefix=/usr/local/polardb
make -j 4
sudo make install
more >>

展开全文 >>

ZooKeeper 安装配置

前言

有时会需要安装开源的大数据集群进行测评或者验证问题，已经装过很多遍了，所以想系统的总结整理一下各个组件的安装部署，包括 Zookeeper、Hadoop、Hive、Spark 等。

版本

  • ZooKeeper 3.5.6 3.8.4 3.9.3

    初始化

    包括主机名修改、SSH互信、JDK安装等

SSH互信

1
2
3
4
5
6
7
8
9
10
11
# 每个节点
ssh-keygen -t rsa

# 从 1节点执行，传到2
# 从 2节点执行，传到3
# 从 n-1节点执行，传到n
# 从 n节点执行，传到1
# 将 1节点authorized_keys传到其他所有节点
cd ~/.ssh
cat id_rsa.pub>>authorized_keys
scp authorized_keys 192.168.1.2:~/.ssh/

下载 ZooKeeper

下载地址：https://archive.apache.org/dist/zookeeper/

more >>

展开全文 >>

Conda 安装配置及常用命令

介绍

Conda 是一个开源的软件包和环境管理系统，在数据科学、机器学习、科学计算等领域广泛应用

主要用途

  • 环境管理：能够创建相互隔离的虚拟环境，每个环境可以有不同的 Python 版本以及不同的软件包版本，以此避免不同项目间的依赖冲突。比如，项目 A 依赖 Python 3.7 和 numpy 1.18，项目 B 依赖 Python 3.9 和 numpy 1.21，使用 Conda 就能为这两个项目分别创建独立的环境。
  • 软件包管理：Conda 可快速安装、更新和卸载软件包，并且能自动处理软件包之间的依赖关系。例如，安装 TensorFlow 时，Conda 会自动安装其依赖的 numpy、protobuf 等软件包。

    特点

  • 跨平台性：支持 Windows、macOS 和 Linux 等多种操作系统，在不同操作系统上都能使用相同的命令进行环境和软件包管理。
  • 多语言支持：虽然常与 Python 搭配使用，但也能管理其他编程语言的软件包，像 R、Java 等。
  • 强大的依赖解析：能自动分析并解决软件包之间的依赖冲突，保证安装的软件包版本相互兼容。

    核心概念

  • 环境（Environment）：一个独立的、隔离的软件包集合，其中包含特定版本的 Python 解释器和一系列软件包。你可以按需创建、激活、停用和删除环境。
  • 通道（Channel）：是软件包的存储库，Conda 会从通道中下载软件包。常见的通道有 defaults、conda-forge 等。不同通道可能包含不同的软件包或同一软件包的不同版本。
  • 软件包（Package）：是预先编译好的软件组件，可通过 Conda 进行安装、更新和卸载。 more >>

展开全文 >>

Yarn Application 日志总结

前言

总结整理 Yarn 任务运行日志。主要解决：

  • Web UI 查看运行中 yarn 任务对应的所有 container 的日志
  • Web Ui 查看已经结束的历史 yarn 任务对应的 所有 container 的日志
  • 任务异常结束后，如果日志聚合失败，保留 NodeManager 本地日志

版本

  • Flink 1.15.3
  • Hadoop 3.4.1、3.1.4

运行中的日志

命令行

在命令中查看：

1
yarn logs -applicationId <application ID>

Web UI

Resource Manager Web UI 默认端口：8088
3.4.1 和 3.1.4 的 Web UI 界面稍微有所不同：
3.4.1:

more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

2016年本科毕业于合肥工业大学<br><br>信息与计算科学专业<br><br>目前在济南一家公司从事大数据的工作~~