Spark操作Hive分区表

2018-12-04

前言

前面学习总结了Hive分区表，现在学习总结一下Spark如何操作Hive分区表，包括利用Spark DataFrame创建Hive的分区表和Spark向已经存在Hive分区表里插入数据，并记录一下遇到的问题以及如何解决。

1、Spark创建分区表

只写主要代码，完整代码见附录

val data = Array(("001", "张三", 21, "2018"), ("002", "李四", 18, "2017"))
val df = spark.createDataFrame(data).toDF("id", "name", "age", "year")
//可以将append改为overwrite，这样如果表已存在会删掉之前的表，新建表
df.write.mode("append").partitionBy("year").saveAsTable("new_test_partition")

more >>

展开全文 >>

Hive内部表和外部表

2018-12-03

前言

总结一下Hive的内部表和外部表以及两者的区别。

1、建表语句

1.1 内部表

平时创建的普通表为内部表

create table `test_internal` (
id string comment 'ID', 
name string comment '名字'
)
comment '测试内部表'
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;

外部表

带external关键字的为外部表

create external table `test_external` (
id string comment 'ID', 
name string comment '名字'
)
comment '测试外部表'
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;

仅从建表语句上看，内部表和外部表的区别为是否带有external关键字。
more >>

展开全文 >>

Hive分区表学习总结

2018-12-02

前言

用了这么久的Hive，而没有认真的学习和使用过Hive的分区，现在学习记录一下。

分区表一般在数据量比较大，且有明确的分区字段时使用，这样用分区字段作为查询条件查询效率会比较高。

Hive分区分为静态分区和动态分区

1、建表语句

先用一个有分区字段的分区表进行学习，静态分区和动态分区的建表语句是一样的。

create table test_partition (
id string comment 'ID', 
name string comment '名字'
)
comment '测试分区'
partitioned by (year int comment '年')
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;

more >>

展开全文 >>

Echarts中国地图三级钻取

2018-11-27

前言

最近其实一直在用Echarts写前端，之前也想过总结一下Echarts的用法，但是官网的例子已经很全了。写这篇博客是因为Echarts官网把很多地图的例子都去掉了，且不能下载地图Json的数据，而相关的博客又很少，搜到两个，但是不很符合自己的想法，所以就想自己实现总结一下最基本的地图钻取，代码上传到GitHub，这样便于后面再有相关需求的时候，直接从GitHub上下载下来，在这个基础上修改添加功能就好了。