异常解决记录 | Yarn NodeManager 注册异常

前言

该异常发生背景：

  • 项目上的同事之前已部署了8个节点均正常
  • 项目上的同事后面又扩容了8个节点均异常
  • Yarn ResourceManager 配置了 HA
  • Hadoop 版本： 3.1.1

具体异常

1
2
3
4
5
6
7
8
9
10
11
12
2025-09-17 09:30:00,869 INFO  client.ConfiguredRMFailoverProxyProvider (ConfiguredRMFailoverProxyProvider.java:performFailover(100)) - Failing over to rm2
2025-09-17 09:30:01,043 INFO  retry.RetryInvocationHandler (RetryInvocationHandler.java:log(411)) - org.apache.hadoop.security.authorize.AuthorizationException: User nm/indata-192-168-1-3.indata.com@INDATA.COM  (auth:KERBEROS) is not authorized for protocol interface org.apache.hadoop.yarn.server.api.ResourceTrackerPB: this service is only accessible by nm/192.168.1.3@INDATA.COM, while invoking ResourceTrackerPBClientImpl.registerNodeManager over rm2 after 1 failover attempts. Trying to failover after sleeping for 21498ms.
2025-09-17 09:30:22,541 INFO  client.ConfiguredRMFailoverProxyProvider (ConfiguredRMFailoverProxyProvider.java:performFailover(100)) - Failing over to rm1
2025-09-17 09:30:22,545 INFO  retry.RetryInvocationHandler (RetryInvocationHandler.java:log(411)) - java.net.ConnectException: Call From indata-192-168-1-3.indata.com/192.168.1.3 to indata-192-168-1-1.indata.com:8031 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused, while invoking ResourceTrackerPBClientImpl.registerNodeManager over rm1 after 2 failover attempts. Trying to failover after sleeping for 33407ms.
2025-09-17 09:30:55,953 INFO  client.ConfiguredRMFailoverProxyProvider (ConfiguredRMFailoverProxyProvider.java:performFailover(100)) - Failing over to rm2
2025-09-17 09:30:55,992 INFO  retry.RetryInvocationHandler (RetryInvocationHandler.java:log(411)) - org.apache.hadoop.security.authorize.AuthorizationException: User nm/indata-192-168-1-3.indata.com@INDATA.COM  (auth:KERBEROS) is not authorized for protocol interface org.apache.hadoop.yarn.server.api.ResourceTrackerPB: this service is only accessible by nm/192.168.1.3@INDATA.COM, while invoking ResourceTrackerPBClientImpl.registerNodeManager over rm2 after 3 failover attempts. Trying to failover after sleeping for 44974ms.
2025-09-17 09:31:40,967 INFO  client.ConfiguredRMFailoverProxyProvider (ConfiguredRMFailoverProxyProvider.java:performFailover(100)) - Failing over to rm1
2025-09-17 09:31:40,971 INFO  retry.RetryInvocationHandler (RetryInvocationHandler.java:log(411)) - java.net.ConnectException: Call From indata-192-168-1-3.indata.com/192.168.1.3 to indata-192-168-1-1.indata.com:8031 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused, while invoking ResourceTrackerPBClientImpl.registerNodeManager over rm1 after 4 failover attempts. Trying to failover after sleeping for 15164ms.
2025-09-17 09:31:56,136 INFO  client.ConfiguredRMFailoverProxyProvider (ConfiguredRMFailoverProxyProvider.java:performFailover(100)) - Failing over to rm2
2025-09-17 09:31:56,181 INFO  retry.RetryInvocationHandler (RetryInvocationHandler.java:log(411)) - org.apache.hadoop.security.authorize.AuthorizationException: User nm/indata-192-168-1-3.indata.com@INDATA.COM  (auth:KERBEROS) is not authorized for protocol interface org.apache.hadoop.yarn.server.api.ResourceTrackerPB: this service is only accessible by nm/192.168.1.3@INDATA.COM, while invoking ResourceTrackerPBClientImpl.registerNodeManager over rm2 after 5 failover attempts. Trying to failover after sleeping for 27554ms.
2025-09-17 09:32:23,741 INFO  client.ConfiguredRMFailoverProxyProvider (ConfiguredRMFailoverProxyProvider.java:performFailover(100)) - Failing over to rm1
2025-09-17 09:32:23,749 INFO  retry.RetryInvocationHandler (RetryInvocationHandler.java:log(411)) - java.net.ConnectException: Call From indata-192-168-1-3.indata.com/192.168.1.3 to indata-192-168-1-1.indata.com:8031 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused, while invoking ResourceTrackerPBClientImpl.registerNodeManager over rm1 after 6 failover attempts. Trying to failover after sleeping for 35229ms.
more >>

展开全文 >>

PolarDB-for-PostgreSQL 安装配置

前言

有客户用的数据库为 PolarDB-for-PostgreSQL 11 版本，为了验证 Flink CDC 是否适配，先在本地安装一个开源版本验证一下。

版本

安装依赖

1
sudo yum install -y git gcc gcc-c++ make readline readline-devel zlib-devel libxml2-devel libxslt-devel openssl-devel

编译安装

1
2
3
./configure --prefix=/usr/local/polardb
make -j 4
sudo make install
more >>

展开全文 >>

ZooKeeper 安装配置

前言

有时会需要安装开源的大数据集群进行测评或者验证问题，已经装过很多遍了，所以想系统的总结整理一下各个组件的安装部署，包括 Zookeeper、Hadoop、Hive、Spark 等。

版本

  • ZooKeeper 3.5.6 3.8.4 3.9.3

    初始化

    包括主机名修改、SSH互信、JDK安装等

SSH互信

1
2
3
4
5
6
7
8
9
10
11
# 每个节点
ssh-keygen -t rsa

# 从 1节点执行，传到2
# 从 2节点执行，传到3
# 从 n-1节点执行，传到n
# 从 n节点执行，传到1
# 将 1节点authorized_keys传到其他所有节点
cd ~/.ssh
cat id_rsa.pub>>authorized_keys
scp authorized_keys 192.168.1.2:~/.ssh/

下载 ZooKeeper

下载地址：https://archive.apache.org/dist/zookeeper/

more >>

展开全文 >>

Conda 安装配置及常用命令

介绍

Conda 是一个开源的软件包和环境管理系统，在数据科学、机器学习、科学计算等领域广泛应用

主要用途

  • 环境管理：能够创建相互隔离的虚拟环境，每个环境可以有不同的 Python 版本以及不同的软件包版本，以此避免不同项目间的依赖冲突。比如，项目 A 依赖 Python 3.7 和 numpy 1.18，项目 B 依赖 Python 3.9 和 numpy 1.21，使用 Conda 就能为这两个项目分别创建独立的环境。
  • 软件包管理：Conda 可快速安装、更新和卸载软件包，并且能自动处理软件包之间的依赖关系。例如，安装 TensorFlow 时，Conda 会自动安装其依赖的 numpy、protobuf 等软件包。

    特点

  • 跨平台性：支持 Windows、macOS 和 Linux 等多种操作系统，在不同操作系统上都能使用相同的命令进行环境和软件包管理。
  • 多语言支持：虽然常与 Python 搭配使用，但也能管理其他编程语言的软件包，像 R、Java 等。
  • 强大的依赖解析：能自动分析并解决软件包之间的依赖冲突，保证安装的软件包版本相互兼容。

    核心概念

  • 环境（Environment）：一个独立的、隔离的软件包集合，其中包含特定版本的 Python 解释器和一系列软件包。你可以按需创建、激活、停用和删除环境。
  • 通道（Channel）：是软件包的存储库，Conda 会从通道中下载软件包。常见的通道有 defaults、conda-forge 等。不同通道可能包含不同的软件包或同一软件包的不同版本。
  • 软件包（Package）：是预先编译好的软件组件，可通过 Conda 进行安装、更新和卸载。 more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

2016年本科毕业于合肥工业大学<br><br>信息与计算科学专业<br><br>目前在济南一家公司从事大数据的工作~~