Spark覆盖写入mysql表但不改变已有的表结构

2021-04-29

前言

本文记录Spark如何在表存在的情况时覆盖写入mysql但不修改已有的表结构，并进行主要的源码跟踪以了解其实现原理。主要场景为先用建表语句建好mysql表，然后用spark导入数据，可能会存在多次全表覆写导入的情况。

代码

已上传github

主要的参数为.option(“truncate”, true)，可以参考Spark官网http://spark.apache.org/docs/latest/sql-data-sources-jdbc.html

主要代码逻辑为，读取csv，进行日期转化，然后覆盖写入到已经建好的mysql表中。

package com.dkl.blog.spark.mysql

import java.util.Properties

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions.{col, to_date}

/**
 * Created by dongkelun on 2021/4/29 14:06
 *
 * Spark覆盖写入mysql表但不修改已有的表结构
 */
object SparkMysqlOverwriteTruncateTable {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession
      .builder()
      .appName("SparkMysqlOverwriteTruncateTable")
      .master("local[*]")
      .getOrCreate()

    //rewriteBatchedStatements参数为批量写入数据，可以增加写入效率
    val url = "jdbc:mysql://192.168.44.128:3306/test?useUnicode=true&characterEncoding=utf-8&rewriteBatchedStatements=true"
    val tableName = "trafficbase_cljbxx"
    val prop = new Properties()
    prop.put("user", "root")
    prop.put("password", "Root-123456")

    //读取本地csv
    var df = spark.read.option("header", "true").csv("D:\\文档\\inspur\\csg\\功能测评\\测试数据\\trafficbase_cljbxx.csv")
    //字符串转为日期类型
    df = df.withColumn("czsj", to_date(col("czsj"), "dd/mm/yyyy"))
    df.show()

    df.write.mode("overwrite")
      .option("truncate", true) //覆盖写入数据前先truncate table而不是drop table
      .jdbc(url = url, table = tableName, prop)
    spark.stop
  }
}

more >>

展开全文 >>

Spark Sql 执行流程源码阅读笔记

2021-04-23

前言

学习Spark SQL解析sql生成DataFrame的源码，进行记录

基于Spark3.0.1

代码

以下面的代码作为入口，进行跟踪调试

1 2	val df = spark.sql("select * from test_parquet") df.show

主要的类、方法

spark.sql即SparkSession.sql

/**
 * Executes a SQL query using Spark, returning the result as a `DataFrame`.
 * The dialect that is used for SQL parsing can be configured with 'spark.sql.dialect'.
 *
 * @since 2.0.0
 */
def sql(sqlText: String): DataFrame = withActive {
  val tracker = new QueryPlanningTracker
  val plan = tracker.measurePhase(QueryPlanningTracker.PARSING) {
    sessionState.sqlParser.parsePlan(sqlText)
  }
  Dataset.ofRows(self, plan, tracker)
}

more >>

展开全文 >>

Spark Sql 创建 Hive表的压缩格式

2021-03-19

前言

记录利用Spark 创建Hive表的几种压缩格式。

背景

本人在测试hive表的parquet和orc文件对应的几种压缩算法性能对比。利用Spark thrift server通过sql语句创建表，对比 parquet对应的gzip、snappy,orc对应的 snappy、zlib的压缩率以及查询性能。

parquet

建表语句：在最后加

1	STORED AS PARQUET

parquet默认的压缩为snappy,如果想改成其他压缩格式如gzip,可在建表语句最后加

1	STORED AS PARQUET TBLPROPERTIES('parquet.compression'='GZIP')

more >>

展开全文 >>

Java 连接 Spark Thrift Server/Hive Server总结

2021-02-19

前言

总结Spark Thrift Server、Hive Server以及如何用Java连接

启动

hive server

1
2
3

hiveserver2
或
hive --service hiveserver2

默认端口是1000

spark thrift server

修改hive.server2.transport.mode为http(默认值为binary（TCP），可选值HTTP)
将hive-site.xml拷贝到spark conf 目录下，并添加

<property>
    <name>hive.server2.transport.mode</name>
    <value>http</value>
 </property>

启动命令（$SPARK_HOME/sbin）

start-thriftserver.sh       --端口默认值为10001
或
start-thriftserver.sh --hiveconf hive.server2.thrift.http.port=10002 --参数修改端口号
或
spark-submit --master yarn --deploy-mode client --executor-memory 2G --num-executors 25 --executor-cores 2 --driver-memory 16G --driver-cores 2 --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 --name Thrift JDBC/ODBC Server spark-internal   --hiveconf hive.server2.thrift.http.port=10003 --start-thriftserver.sh实际上也是调用的类org.apache.spark.sql.hive.thriftserver.HiveThriftServer2

more >>

展开全文 >>

Spark CoarseGrainedExecutorBackend 启动流程

2020-12-26

前言

最近在进行Spark任务调度的源码学习，最开始对CoarseGrainedExecutorBackend的启动流程不是很清楚，所以带着这个疑问继续深入学习，终于弄清楚了
CoarseGrainedExecutorBackend是如何启动的，并且对Spark任务调度源码的了解更深入了一点。本篇主要是带着这个疑问以standalone模式总结一下
CoarseGrainedExecutorBackend启动的主要的流程，并不对每一部分的源码进行深入详细的总结。

SparkContext 初始化

首先从SparkContext的初始化开始，一般我们写Spark代码也是首先创建SparkContext。其中会执行：

// Create and start the scheduler 这个master是在sparkSubmit.Main方法得到
// 返回（StandaloneSchedulerBackend，TaskSchedulerImpl）
val (sched, ts) = SparkContext.createTaskScheduler(this, master, deployMode)
_schedulerBackend = sched
_taskScheduler = ts

more >>

展开全文 >>