Flink 读写 Ceph S3入门学习总结

前言

首先安装好Ceph,可以参考我前面的文章Ceph分布式集群安装配置

版本

Flink: 1.10.1
hadoop: hdp版本 3.1.1.3.1.0.0-78

jar包

flink-s3-fs-hadoop-1.10.1.jar，从maven仓库下载即可，下载地址：https://mvnrepository.com/artifact/org.apache.flink/flink-s3-fs-hadoop，找到对应的版本下载即可
然后在$FLINK_HOME/plugins目录下创建文件夹s3-fs-hadoop，将下载的flink-s3-fs-hadoop-1.10.1.jar拷贝到该目录下

我这个版本的Flink是有scala-shell终端的，别的版本可能没有，路径 bin/start-scala-shell.sh

添加配置（Shell我们采用模式yarn-per-job）：

1
2
3
4
5
execution.target: yarn-per-job
s3.access.key: access_key
s3.secret.key: secret_key
s3.endpoint: ip:7480
s3.connection.ssl.enabled: false

more >>

展开全文 >>

Spark 读写 Ceph S3入门学习总结

前言

首先安装好Ceph,可以参考我上篇文章Ceph分布式集群安装配置

版本

spark: 2.4.5
hadoop: hdp版本 3.1.1.3.1.0.0-78

spark-shell读写S3

jar包配置

1
2
3
4
5
6
7
hadoop-aws-3.1.1.3.1.0.0-78.jar 注意版本要和hadoop版本对应
aws-java-sdk-s3-1.12.22.jar
aws-java-sdk-core-1.12.22.jar
aws-java-sdk-dynamodb-1.12.22.jar
可能还需要：
hadoop-client-api-3.1.1.3.1.0.0-78.jar
hadoop-client-runtime-3.1.1.3.1.0.0-78.jar

将上面的jar包拷贝到$SPARK_HOME/jars
more >>

展开全文 >>

Ceph分布式集群安装配置

前言

记录Ceph分布式集群安装配置过程及问题解决

1. 服务器环境说明

主机名 角色 IP地址
ceph1 ceph-deploy、mon、mgr、osd 192.168.44.128
ceph2 mon、mgr、osd 192.168.44.129
ceph3 mon、mgr、osd 192.168.44.130

要保证每台机器能连接外网

2. 服务器环境准备

2.1 配置yum源

1
2
3
4
5
6
7
8
9
10
11
12
13
wget -qO /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -qO /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

vi /etc/yum.repos.d/ceph.repo
[ceph]
name=ceph
baseurl=https://mirrors.aliyun.com/ceph/rpm-luminous/el7/x86_64/
gpgcheck=0

[ceph-noarch]
name=cephnoarch
baseurl=https://mirrors.aliyun.com/ceph/rpm-luminous/el7/noarch/
gpgcheck=0
more >>

展开全文 >>

Flink SQL 客户端查询Hive配置及问题解决

前言

记录博主第一次使用Flink SQL查询Hive的配置以及问题解决过程

博主目前还没有用过Flink,没有写过Flink代码，完全是一个小白。之所以使用Flink，是因为博主目前需要测试使用dolphinscheduler的一些功能，其中包括Flink数据源，这里Flink数据源我们使用的是Kyuubi Flink Engine,且学会、了解了Flink之后对于学习Hudi、Kyuubi也是有帮助的。

版本

flink-1.14.3，这里使用kyuubi1.5.2自带的Flink

环境

HDP环境，Hadoop、Hive等已经安装配置好

配置

HADOOP_CLASSPATH

export HADOOP_CLASSPATH=hadoop classpath

可以添加在比如/ect/profile里，这样等于修改全局的环境，如果想只对Flink生效，可以添加在bin/config.sh文件里

一开始我对hadoop classpath理解错了，以为是自己手动修改成实际的路径，但是hadoop对应的jar包的路径有很多，后来发现它的意思是执行命令hadoop classpath将返回值赋给HADOOP_CLASSPATH

more >>

展开全文 >>

Hudi Spark SQL源码学习总结-select（查询）

前言

上一篇文章Hudi Spark源码学习总结-spark.read.format(“hudi”).load分析了load方法直接查询Hudi表路径的源码逻辑，那么Spark SQL select 表名的方式和load最终走的逻辑是一样的吗？本文带着这个疑问来分析一下select查询Hudi表的源码逻辑

版本

Spark 2.4.4
Hudi master 0.12.0-SNAPSHOT 最新代码
（可以借助Spark3 planChangeLog 打印日志信息查看哪些规则生效,Spark3和Spark2生效的规则大致是一样的）

示例代码

先Create Table，再Insert几条数据

1
spark.sql(s"select id, name, price, ts, dt from $tableName").show()
more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

2016年本科毕业于合肥工业大学<br><br>信息与计算科学专业<br><br>目前在济南一家公司从事大数据的工作~~