记录利用Spark 创建Hive表的几种压缩格式。
本人在测试hive表的parquet和orc文件对应的几种压缩算法性能对比。利用Spark thrift server通过sql语句创建表，对比 parquet对应的gzip、snappy,orc对应的 snappy、zlib的压缩率以及查询性能。
建表语句：在最后加1
STORED AS PARQUET
parquet默认的压缩为snappy,如果想改成其他压缩格式如gzip,可在建表语句最后加
1 | STORED AS PARQUET TBLPROPERTIES('parquet.compression'='GZIP') |
总结Spark Thrift Server、Hive Server以及如何用Java连接
1 | hiveserver2 |
默认端口是1000
修改hive.server2.transport.mode为http(默认值为binary（TCP），可选值HTTP)
将hive-site.xml拷贝到spark conf 目录下，并添加1
2
3
4<property>
<name>hive.server2.transport.mode</name>
<value>http</value>
</property>
启动命令（$SPARK_HOME/sbin）
1 | start-thriftserver.sh --端口默认值为10001 |
最近在进行Spark任务调度的源码学习，最开始对CoarseGrainedExecutorBackend的启动流程不是很清楚，所以带着这个疑问继续深入学习，终于弄清楚了
CoarseGrainedExecutorBackend是如何启动的，并且对Spark任务调度源码的了解更深入了一点。本篇主要是带着这个疑问以standalone模式总结一下
CoarseGrainedExecutorBackend启动的主要的流程，并不对每一部分的源码进行深入详细的总结。
首先从SparkContext的初始化开始，一般我们写Spark代码也是首先创建SparkContext。其中会执行：1
2
3
4
5// Create and start the scheduler 这个master是在sparkSubmit.Main方法得到
// 返回（StandaloneSchedulerBackend，TaskSchedulerImpl）
val (sched, ts) = SparkContext.createTaskScheduler(this, master, deployMode)
_schedulerBackend = sched
_taskScheduler = ts
学习记录一下Spark源码中的RPC，本文基于Spark3源码进行学习研究
RpcEnv、RpcEndpoint、RpcEndpointRef主要是想搞懂这三个之间的关系
Spark 1.6.3中默认使用了Netty作为底层的实现，但Akka的依赖依然存在；而Spark 2.1.0中的底层实现只有Netty，这样用户可以方便的使用不同版本的Akka或者将来某种更好的底层实现
NettyRpcEnv1
2
3
4
5
6private[netty] class NettyRpcEnv(
val conf: SparkConf,
javaSerializerInstance: JavaSerializerInstance,
host: String,
securityManager: SecurityManager,
numUsableCores: Int) extends RpcEnv(conf) with Logging {
这个异常发生在Spark读取Windows本地CSV然后show，当然一般情况下不会发生，还有一个条件，项目里加了hbase-client和hbase-mapreduce，具体是哪一个依赖或者两个依赖合起来造成的影响我没有去细究，主要记录解决方法
more >>网上也有其他很多情况可能出现这个异常
tag:
缺失模块。
1、请确保node版本大于6.2
2、在博客根目录（注意不是yilia根目录）执行以下命令：
npm i hexo-generator-json-content --save
3、在根目录_config.yml里添加配置：
jsonContent:
meta: false
pages: false
posts:
title: true
date: true
path: true
text: false
raw: false
content: false
slug: false
updated: false
comments: false
link: false
permalink: false
excerpt: false
categories: false
tags: true