Spark 覆盖写Hive分区表,只覆盖部分对应分区

前言

总结Spark覆盖写Hive分区表,如何只覆盖部分对应分区

版本

要求Spark版本2.3以上，亲测2.2无效

配置

1
config("spark.sql.sources.partitionOverwriteMode","dynamic")

注意

1、saveAsTable方法无效，会全表覆盖写，需要用insertInto，详情见代码
2、insertInto需要主要DataFrame列的顺序要和Hive表里的顺序一致，不然会数据错误！

代码

已上传github
more >>

展开全文 >>

Python 连接 MYSQL

前言

总结记录Python 连接 MYSQL

代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
from sqlalchemy import create_engine
import pandas as pd


def get_db(url):
    return create_engine(url, connect_args={'charset': 'utf8'}, encoding='utf8')


def get_df(sql, url="mysql://root:Root-123456@192.168.44.128:3306/test"):
    db = get_db(url)
    df = pd.read_sql_query(sql, db)
    return df


if __name__ == '__main__':
    db_url = "mysql://root:Root-123456@192.168.44.128:3306/test"
    data1 = get_df("select * from test", db_url)
    data2 = get_df("select * from test where id BETWEEN '%s' and '%s'" % (6, 10), db_url)

    print(data1.head(10))
    print(data2)
more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

2016年本科毕业于合肥工业大学<br><br>信息与计算科学专业<br><br>目前在济南一家公司从事大数据的工作~~