学习记录一下Spark源码中的RPC，本文基于Spark3源码进行学习研究
RpcEnv、RpcEndpoint、RpcEndpointRef主要是想搞懂这三个之间的关系
Spark 1.6.3中默认使用了Netty作为底层的实现，但Akka的依赖依然存在；而Spark 2.1.0中的底层实现只有Netty，这样用户可以方便的使用不同版本的Akka或者将来某种更好的底层实现
NettyRpcEnv1
2
3
4
5
6private[netty] class NettyRpcEnv(
val conf: SparkConf,
javaSerializerInstance: JavaSerializerInstance,
host: String,
securityManager: SecurityManager,
numUsableCores: Int) extends RpcEnv(conf) with Logging {
这个异常发生在Spark读取Windows本地CSV然后show，当然一般情况下不会发生，还有一个条件，项目里加了hbase-client和hbase-mapreduce，具体是哪一个依赖或者两个依赖合起来造成的影响我没有去细究，主要记录解决方法
more >>网上也有其他很多情况可能出现这个异常
记录一下vmware如何克隆一个虚拟机，并解决克隆的centos7虚拟机遇到的网络问题
右键点击要克隆的虚拟机->管理->克隆，然后下一步->下一步，克隆类型选择创建完整克隆->输入虚拟机名称，选择位置，点击完成，然后等待一直到完成
more >>
先说解决办法，提交时除了添加spark-sql-kafka和kafka-clients jar包外，还要添加spark-token-provider-kafka和commons-pool jar包，具体为spark-token-provider-kafka-0-10_2.12-3.0.1.jar和commons-pool2-2.6.2.jar
注意：Spark 3 版本和Spark 2有些不一样，提交Structured Streaming需要注意Kafka client 版本需要>=0.11.0.0,这个在spark官方文档里有说明：Please note that to use the headers functionality, your Kafka client version should be version 0.11.0.0 or up.
记录一下Java API 连接 Hbase的代码，并记录遇到的异常及解决办法
首先pom.xml里添加hbase-client依赖：1
2
3
4
5<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>1.4.13</version>
</dependency>
然后将hbase-site.xml，core-site.xml复制到本地（如果实在本地运行的话）
more >>
缺失模块。
1、请确保node版本大于6.2
2、在博客根目录（注意不是yilia根目录）执行以下命令：
npm i hexo-generator-json-content --save
3、在根目录_config.yml里添加配置：
jsonContent:
meta: false
pages: false
posts:
title: true
date: true
path: true
text: false
raw: false
content: false
slug: false
updated: false
comments: false
link: false
permalink: false
excerpt: false
categories: false
tags: true