Spark CoarseGrainedExecutorBackend 启动流程

前言

最近在进行Spark任务调度的源码学习，最开始对CoarseGrainedExecutorBackend的启动流程不是很清楚，所以带着这个疑问继续深入学习，终于弄清楚了
CoarseGrainedExecutorBackend是如何启动的，并且对Spark任务调度源码的了解更深入了一点。本篇主要是带着这个疑问以standalone模式总结一下
CoarseGrainedExecutorBackend启动的主要的流程，并不对每一部分的源码进行深入详细的总结。

SparkContext 初始化

首先从SparkContext的初始化开始，一般我们写Spark代码也是首先创建SparkContext。其中会执行：

1
2
3
4
5
// Create and start the scheduler 这个master是在sparkSubmit.Main方法得到
// 返回（StandaloneSchedulerBackend，TaskSchedulerImpl）
val (sched, ts) = SparkContext.createTaskScheduler(this, master, deployMode)
_schedulerBackend = sched
_taskScheduler = ts

more >>

展开全文 >>

Spark RPC 学习笔记

前言

学习记录一下Spark源码中的RPC，本文基于Spark3源码进行学习研究

三个重要的类

RpcEnv、RpcEndpoint、RpcEndpointRef主要是想搞懂这三个之间的关系

子类

Spark 1.6.3中默认使用了Netty作为底层的实现，但Akka的依赖依然存在；而Spark 2.1.0中的底层实现只有Netty，这样用户可以方便的使用不同版本的Akka或者将来某种更好的底层实现

NettyRpcEnv

1
2
3
4
5
6
private[netty] class NettyRpcEnv(
    val conf: SparkConf,
    javaSerializerInstance: JavaSerializerInstance,
    host: String,
    securityManager: SecurityManager,
    numUsableCores: Int) extends RpcEnv(conf) with Logging {

more >>

展开全文 >>

vmware centos7 克隆

前言

记录一下vmware如何克隆一个虚拟机，并解决克隆的centos7虚拟机遇到的网络问题

克隆方法

右键点击要克隆的虚拟机->管理->克隆，然后下一步->下一步，克隆类型选择创建完整克隆->输入虚拟机名称，选择位置，点击完成，然后等待一直到完成

more >>

展开全文 >>

在线水平扩展/收缩验证

前言

记录在线水平扩展/收缩验证过程

水平扩展

跑产生数据的任务

执行机器为194

1
2
3
 su - hive
 kinit -kt /etc/security/keytabs/hive.service.keytab hive/indata-10-111-24-194.indatab.com@INDATAB.COM
/usr/hdp/3.1.0.0-78/hadoop/bin/hadoop jar /usr/hdp/3.1.0.0-78/hadoop-mapreduce/hadoop-mapreduce-examples-3.1.1.3.1.0.0-78.jar  teragen  10737418 /terasort/1T-input

more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

2016年本科毕业于合肥工业大学<br><br>信息与计算科学专业<br><br>目前在济南一家公司从事大数据、前端的工作~~