Spark 判断DataFrame 长度为0

2020-03-14

前言

记录Spark如何判断DataFrame长度是否为0

代码

if (df.limit(1).count() == 0) {

}else{

}

展开全文 >>

Spark DataFrame isin方法使用

2020-01-21

前言

总结如何使用Spark DataFrame isin 方法

需求

查询DataFrame某列在某些值里面的内容，等于SQL IN ,如 where year in(‘2017’,’2018’)

代码示例

isin 方法只能传集合类型，不能直接传DataFame或Column
more >>

展开全文 >>

Spark 覆盖写Hive分区表,只覆盖部分对应分区

2020-01-16

前言

总结Spark覆盖写Hive分区表,如何只覆盖部分对应分区

版本

要求Spark版本2.3以上，亲测2.2无效

配置

1	config("spark.sql.sources.partitionOverwriteMode","dynamic")

注意

1、saveAsTable方法无效，会全表覆盖写，需要用insertInto，详情见代码
2、insertInto需要主要DataFrame列的顺序要和Hive表里的顺序一致，不然会数据错误！

代码

已上传github
more >>

展开全文 >>

Python 连接 MYSQL

2020-01-03

前言

总结记录Python 连接 MYSQL

代码

from sqlalchemy import create_engine
import pandas as pd


def get_db(url):
    return create_engine(url, connect_args={'charset': 'utf8'}, encoding='utf8')


def get_df(sql, url="mysql://root:Root-123456@192.168.44.128:3306/test"):
    db = get_db(url)
    df = pd.read_sql_query(sql, db)
    return df


if __name__ == '__main__':
    db_url = "mysql://root:Root-123456@192.168.44.128:3306/test"
    data1 = get_df("select * from test", db_url)
    data2 = get_df("select * from test where id BETWEEN '%s' and '%s'" % (6, 10), db_url)

    print(data1.head(10))
    print(data2)

more >>

展开全文 >>

windows 安装 pycharm 笔记

2020-01-02

前言

前两天为了升级pycharm，重新安装了一下，这里记录一下，之所以升级，是因为之前anaconda换成了64位的，也就是anaconda升级了，Python版本升级为3.7，但是之前的pycharm不能支持这么高版本的Python，导致一些功能不能用，所以决定升级一下

下载

地址：https://www.jetbrains.com/pycharm/download/other.html
选择对应的安装包下载，这里选择的是pycharm-community-2019.3.1.exe

安装

一键式安装，选择安装目录，配置选项这里我全选了，最后打开软件，提示是否导入之前的配置，这里我选择不导入，然后打开一个Python项目，配置Python interpreter
（File=>Settings=>Project=>Project Interpreter）,先安装的pycharm是没有Python环境的，需要新增一个，选择Conda environment，选择之前安装的 anaconda即可，然后加载一会儿，这是就可以运行之前的代码了
more >>

展开全文 >>