Spark DataFrame isin方法使用

2020-01-21

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住给大家分享一下。点击跳转到网站：https://www.captainai.net/dongkelun

欢迎关注我的公众号

前言

总结如何使用Spark DataFrame isin 方法

需求

查询DataFrame某列在某些值里面的内容，等于SQL IN ,如 where year in(‘2017’,’2018’)

代码示例

isin 方法只能传集合类型，不能直接传DataFame或Column

package com.dkl.blog.spark.df

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions.col

/**
  * Created by dongkelun on 2020/1/21 14:20
  *
  * Spark DataFrame isin方法使用
  */
object SparkDfIsIn {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession
      .builder()
      .appName("SparkDfIsIn")
      .master("local")
      .getOrCreate()

    val data = Array(("001", "张三", 21, "2018"), ("002", "李四", 18, "2017"),
      ("003", "sam", 18, "2019"), ("004", "abby", 23, "20117")
    )

    val df = spark.createDataFrame(data).toDF("id", "name", "age", "year")
    df.show()

    val yearArray = Array("2017", "2018")
    df.where(col("year").isin(yearArray: _*)).show()

    val data1 = Array(("001", "张三", 21, "2018"), ("002", "李四", 18, "2017"))
    val df1 = spark.createDataFrame(data1).toDF("id", "name", "age", "year")
    //DataFame 需要先将该列查出来去重转出数组，
    val df_yearArray = df1.select("year").distinct().collect().map(_.getAs[String]("year"))

    df.where(col("year").isin(df_yearArray: _*)).show()

    spark.close()
  }
}

结果

+---+----+---+-----+
| id|name|age| year|
+---+----+---+-----+
|001|  张三| 21| 2018|
|002|  李四| 18| 2017|
|003| sam| 18| 2019|
|004|abby| 23|20117|
+---+----+---+-----+

+---+----+---+----+
| id|name|age|year|
+---+----+---+----+
|001|  张三| 21|2018|
|002|  李四| 18|2017|
+---+----+---+----+


| id|name|age|year|
+---+----+---+----+
|001|  张三| 21|2018|
|002|  李四| 18|2017|
+---+----+---+----+

本文由 董可伦 发表于伦少的博客 ,采用署名-非商业性使用-禁止演绎 3.0进行许可。

非商业转载请注明作者及出处。商业转载请联系作者本人。

本文标题：Spark DataFrame isin方法使用

本文链接：https://dongkelun.com/2020/01/21/sparkDfIsin/

欢迎关注我的公众号