Spark CoarseGrainedExecutorBackend 启动流程

前言

最近在进行Spark任务调度的源码学习，最开始对CoarseGrainedExecutorBackend的启动流程不是很清楚，所以带着这个疑问继续深入学习，终于弄清楚了
CoarseGrainedExecutorBackend是如何启动的，并且对Spark任务调度源码的了解更深入了一点。本篇主要是带着这个疑问以standalone模式总结一下
CoarseGrainedExecutorBackend启动的主要的流程，并不对每一部分的源码进行深入详细的总结。

SparkContext 初始化

首先从SparkContext的初始化开始，一般我们写Spark代码也是首先创建SparkContext。其中会执行：

1
2
3
4
5
// Create and start the scheduler 这个master是在sparkSubmit.Main方法得到
// 返回（StandaloneSchedulerBackend，TaskSchedulerImpl）
val (sched, ts) = SparkContext.createTaskScheduler(this, master, deployMode)
_schedulerBackend = sched
_taskScheduler = ts

more >>

展开全文 >>

Spark RPC 学习笔记

前言

学习记录一下Spark源码中的RPC，本文基于Spark3源码进行学习研究

三个重要的类

RpcEnv、RpcEndpoint、RpcEndpointRef主要是想搞懂这三个之间的关系

子类

Spark 1.6.3中默认使用了Netty作为底层的实现，但Akka的依赖依然存在；而Spark 2.1.0中的底层实现只有Netty，这样用户可以方便的使用不同版本的Akka或者将来某种更好的底层实现

NettyRpcEnv

1
2
3
4
5
6
private[netty] class NettyRpcEnv(
    val conf: SparkConf,
    javaSerializerInstance: JavaSerializerInstance,
    host: String,
    securityManager: SecurityManager,
    numUsableCores: Int) extends RpcEnv(conf) with Logging {

more >>

展开全文 >>

vmware centos7 克隆

前言

记录一下vmware如何克隆一个虚拟机，并解决克隆的centos7虚拟机遇到的网络问题

克隆方法

右键点击要克隆的虚拟机->管理->克隆，然后下一步->下一步，克隆类型选择创建完整克隆->输入虚拟机名称，选择位置，点击完成，然后等待一直到完成

more >>

展开全文 >>

Spark 3.0.1 Structured Streaming 提交程序异常解决

前言

先说解决办法，提交时除了添加spark-sql-kafka和kafka-clients jar包外，还要添加spark-token-provider-kafka和commons-pool jar包，具体为spark-token-provider-kafka-0-10_2.12-3.0.1.jar和commons-pool2-2.6.2.jar

注意：Spark 3 版本和Spark 2有些不一样，提交Structured Streaming需要注意Kafka client 版本需要>=0.11.0.0,这个在spark官方文档里有说明：Please note that to use the headers functionality, your Kafka client version should be version 0.11.0.0 or up.

版本

  • Spark 3.0.1
  • Scala 2.12.2
  • kafka-clients 2.6.0
more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

2016年本科毕业于合肥工业大学<br><br>信息与计算科学专业<br><br>目前在济南一家公司从事大数据的工作~~