Spark 覆盖写Hive分区表,只覆盖部分对应分区

2020-01-16

前言

总结Spark覆盖写Hive分区表,如何只覆盖部分对应分区

版本

要求Spark版本2.3以上，亲测2.2无效

配置

1	config("spark.sql.sources.partitionOverwriteMode","dynamic")

注意

1、saveAsTable方法无效，会全表覆盖写，需要用insertInto，详情见代码
2、insertInto需要主要DataFrame列的顺序要和Hive表里的顺序一致，不然会数据错误！

代码

已上传github
more >>

展开全文 >>

Python 连接 MYSQL

2020-01-03

前言

总结记录Python 连接 MYSQL

代码

from sqlalchemy import create_engine
import pandas as pd


def get_db(url):
    return create_engine(url, connect_args={'charset': 'utf8'}, encoding='utf8')


def get_df(sql, url="mysql://root:Root-123456@192.168.44.128:3306/test"):
    db = get_db(url)
    df = pd.read_sql_query(sql, db)
    return df


if __name__ == '__main__':
    db_url = "mysql://root:Root-123456@192.168.44.128:3306/test"
    data1 = get_df("select * from test", db_url)
    data2 = get_df("select * from test where id BETWEEN '%s' and '%s'" % (6, 10), db_url)

    print(data1.head(10))
    print(data2)

more >>

展开全文 >>

windows 安装 pycharm 笔记

2020-01-02

前言

前两天为了升级pycharm，重新安装了一下，这里记录一下，之所以升级，是因为之前anaconda换成了64位的，也就是anaconda升级了，Python版本升级为3.7，但是之前的pycharm不能支持这么高版本的Python，导致一些功能不能用，所以决定升级一下

下载

地址：https://www.jetbrains.com/pycharm/download/other.html
选择对应的安装包下载，这里选择的是pycharm-community-2019.3.1.exe

安装

一键式安装，选择安装目录，配置选项这里我全选了，最后打开软件，提示是否导入之前的配置，这里我选择不导入，然后打开一个Python项目，配置Python interpreter
（File=>Settings=>Project=>Project Interpreter）,先安装的pycharm是没有Python环境的，需要新增一个，选择Conda environment，选择之前安装的 anaconda即可，然后加载一会儿，这是就可以运行之前的代码了
more >>

展开全文 >>

Python 处理Excel总结(1)

2019-12-30

前言

学习总结Python处理Excel

文件

一个测试有两个sheet页的Excel测试文件 test.xlsx

代码

完整代码已上传到GitHub sheetDemo.py

import pandas as pd

file1 = pd.ExcelFile('D:\\data\\py\\test.xlsx')
file2 = pd.read_excel('D:\\data\\py\\test.xlsx')
print(file)

<pandas.io.excel._base.ExcelFile object at 0x0000021DE525DF88>
-----------------分割线---------------------
   姓名  年龄 性别  住址
0  张三   7  男 NaN
1  李四   6  男 NaN
2  王芳   6  女 NaN

分析

pd.read_excel读出来是一个dataframe可以直接打印出内容，但是只能读取一个sheet页，默认第一个sheet页
more >>

展开全文 >>

python anaconda 安装使用

2019-12-27

前言

记录一下anaconda安装使用

之前安装过，但是是32位的，32位的有内存限制，所以现在换成了64位的

1、下载

地址：https://www.anaconda.com/distribution/#download-section

在上面的地址里选择对应的版本下载即可，这里选择的是Python3.7 64-Bit Graphical Installer (462 MB)

2、安装

一键式安装，除了安装路径外我都是按照默认的来，我的安装路径：

1	D:\Company\anaconda-64

3、pycharm 切换anaconda

装好anaconda之后就可以在pycharm里切换新的版本了，File=>Settings=>Project=>Project Interpreter,选择新安装的anaconda就好了，如图：
more >>

展开全文 >>