前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住给大家分享一下。点击跳转到网站:https://www.captainai.net/dongkelun
前言
本文主要给出Spark创建空的DataFrame的代码示例,这里讲的空的DataFrame主要指有列名(可以自己随意指定),但是没有行的DataFrame,因为自己在开发过程中有这个需求,之前并不知道怎么创建,就查了一下,发现资料并不多,不知道因为太简单还是用的人少~,至于具体什么需求就不阐述了,主要给有这方面需求的小伙伴参考一下。还有另一种空的DataFrame就是没有任何行任何列的DataFrame,不知道有什么用,反正贴在代码里,万一有人用呢~
1、代码
代码较简单,如下1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47package com.dkl.leanring.spark.df
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.types._
import org.apache.spark.sql.Row
import org.apache.spark.rdd.EmptyRDD
/**
* Spark创建空DataFrame示例
*/
object EmptyDataFrame {
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder().appName("EmptyDataFrame").master("local").getOrCreate()
/**
* 创建一个空的DataFrame,代表用户
* 有四列,分别代表ID、名字、年龄、生日
*/
val colNames = Array("id", "name", "age", "birth")
//为了简单起见,字段类型都为String
val schema = StructType(colNames.map(fieldName => StructField(fieldName, StringType, true)))
//主要是利用了spark.sparkContext.emptyRDD
val emptyDf = spark.createDataFrame(spark.sparkContext.emptyRDD[Row], schema)
emptyDf.show
/**
* 也可以给每列指定相对应的类型
*/
val schema1 = StructType(
Seq(
StructField("id", IntegerType, true),
StructField("name", StringType, true),
StructField("age", IntegerType, true),
StructField("birth", StringType, true)))
val emptyDf1 = spark.createDataFrame(spark.sparkContext.emptyRDD[Row], schema1)
emptyDf1.show
//还有一种空的DataFrame,没有任何行任何列
spark.emptyDataFrame.show
spark.stop()
}
}