Spark Client 配置

前言

记录Spark Client 配置，这里的 Spark Client 和 HDFS、YARN 不在一个节点，只是一个单节点的 Spark Client，需要能连接其他节点的大数据集群的 Hive 和 能提交到Yarn 。

环境信息

大数据节点（已配置好Spark）：
192.168.44.154
192.168.44.155
192.168.44.156
客户端：
192.168.44.157 (新装操作系统)

more >>

展开全文 >>

集群管理命令总结

前言

在进行TPC性能测试时用到两个集群管理命令：clush 和 pssh，这俩命令都可以在多台服务器上并发执行相同命令，其中个人比较推荐 clush，因为感觉 clush 比较好用，本文来总结一下 clush 和 pssh 的安装配置和使用。

Python

clush 和 pssh 都是基于Python实现，由于不同的系统默认的Python版本不同，由于 Python3 和 Python2 可能由于支持度不同可能会遇到不一样的问题。 目前使用过程中两个命令对于默认安装 Python2 的系统几乎没有遇到任何问题，安装和使用都比较顺利。而对于默认安装Python3的系统安装和使用过程中可能会分别遇到不同的问题，所以本文对于Python2和Python3都进行了总结。 目前用到的系统中，Centos 7 默认安装 Python2，Centos8 和 openeuler22.03 默认安装 Python3 ，如果某些软件或者命令不支持Python3 可以选择离线编译安装 Python2，然后在基于 Python2 进行安装即可。

clush

Clush是一个非常实用的集群管理命令。通过这个命令，用户可以批量管理多台服务器，使它们执行相同的命令，例如安装软件或监测运行状况等，从而达到管理多个节点的目的。

more >>

展开全文 >>

QQ 截图工具独立版安装使用

前言

之前截图一直使用的QQ截图，相比于微信截图，QQ截图还支持长截图，总体来说，QQ截图是我使用过的最好的截图工具 。但是现在公司不让用微信、QQ、钉钉等通讯软件，要求使用公司自研的通讯软件，这样就不能使用QQ截图了。尝试使用Windows10自带的截图（win+shift+s）和 公司自研通讯软件中的截图功能都不好使，于是网上查了一下，发现有 QQ 截图工具独立版，不需要安装和登录QQ，就可以使用QQ截图，功能和使用方式（快捷键）都一样。

下载

链接：https://pan.baidu.com/s/1zU45H83jAVbp4wYcXVNDUA?pwd=ssuk
提取码：ssuk
more >>

展开全文 >>

Spark Standalone 集群配置

前言

平时工作中主要用 YARN 模式，最近进行TPC测试用到了 Standalone 模式，便记录总结一下 Standalone 集群相关的配置。

集群管理类型

Spark 支持三种集群管理类型：

  • Standalone - Spark附带的一个简单的集群管理器，可以轻松地设置集群。
  • Apache Mesos - 一个通用的集群管理器，也可以运行HadoopMapReduce和服务应用程序。（已弃用）
  • Hadoop YARN - Hadoop 3中的资源管理器。
  • Kubernetes - 一个用于自动化容器化应用程序的部署、扩展和管理的开源系统。
    官方文档：https://spark.apache.org/docs/latest/cluster-overview.html
more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

2016年本科毕业于合肥工业大学<br><br>信息与计算科学专业<br><br>目前在济南一家公司从事大数据的工作~~