Spark Sql 连接mysql

1、基本概念和用法（摘自spark官方文档中文版）

Spark SQL 还有一个能够使用 JDBC 从其他数据库读取数据的数据源。当使用 JDBC 访问其它数据库时，应该首选 JdbcRDD。这是因为结果是以数据框（DataFrame）返回的，且这样 Spark SQL操作轻松或便于连接其它数据源。因为这种 JDBC 数据源不需要用户提供 ClassTag，所以它也更适合使用 Java 或 Python 操作。（注意，这与允许其它应用使用 Spark SQL 执行查询操作的 Spark SQL JDBC 服务器是不同的）。

使用 JDBC 访问特定数据库时，需要在 spark classpath 上添加对应的 JDBC 驱动配置。例如，为了从 Spark Shell 连接 postgres，你需要运行如下命令 :

1
bin/spark-shell --driver-class-path postgresql-9.4.1207.jar --jars postgresql-9.4.1207.jar

通过调用数据源API，远程数据库的表可以被加载为DataFrame 或Spark SQL临时表。支持的参数有 :

属性名 含义
url 要连接的 JDBC URL。
dbtable 要读取的 JDBC 表。 注意，一个 SQL 查询的 From 分语句中的任何有效表都能被使用。例如，既可以是完整表名，也可以是括号括起来的子查询语句。
driver 用于连接 URL 的 JDBC 驱动的类名。
partitionColumn, lowerBound, upperBound, numPartitions 这几个选项，若有一个被配置，则必须全部配置。它们描述了当从多个 worker 中并行的读取表时，如何对它分区。partitionColumn 必须是所查询表的一个数值字段。注意，lowerBound 和 upperBound 都只是用于决定分区跨度的，而不是过滤表中的行。因此，表中的所有行将被分区并返回。
fetchSize JDBC fetch size，决定每次读取多少行数据。 默认将它设为较小值（如，Oracle上设为 10）有助于 JDBC 驱动上的性能优化。
  • 其实该部分翻译自Spark官方文档，所以对于翻译有疑问的可直接看官方文档 more >>

展开全文 >>

win10 spark+scala+eclipse+sbt 安装配置

1、首先安装配置jdk1.8以上,建议全部的安装路径不要有空格

2、安装spark

2.1 下载

下载地址：http://spark.apache.org/downloads.html，我下载的是 spark-2.2.1-bin-hadoop2.7.tgz

2.2 安装

解压到指定路径下即可，比如 D:\Company\bigdata\spark-2.2.1-bin-hadoop2.7

2.3 配置环境变量

在系统变量Path添加一条：D:\Company\bigdata\spark-2.2.1-bin-hadoop2.7\bin 即可
more >>

展开全文 >>

Spark基本概念（便于自己随时查阅--摘自Spark快速大数据分析）

1、 RDD

  在Spark 中，我们通过对分布式数据集的操作来表达我们的计算意图，这些计算会自动地在集群上并行进行。这样的数据集被称为弹性分布式数据集（resilient distributed dataset），简称RDD。RDD 是Spark 对分布式数据和计算的基本抽象。
  RDD 支持两种操作：转化操作和行动操作。RDD 的转化操作是返回一个新的RDD 的操作，比如map() 和filter()，而行动操作则是向驱动器程序返回结果或把结果写入外部系统的操作，会触发实际的计算，比如count() 和first()。Spark 对待转化操作和行动操作的方式很不一样，因此理解你正在进行的操作的类型是很重要的。如果对于一个特定的函数是属于转化操作还是行动操作感到困惑，你可以看看它的返回值类型：转化操作返回的是RDD，而行动操作返回的是其他的数据类型。
more >>

展开全文 >>

ibatis 事务 java

java 代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
SqlMapClient client = getSqlMapClient();
try {
      client.startTransaction();
      client.getCurrentConnection().setAutoCommit(false);
      client.delete("order.delete");
      client.insert("order.insertResult");
           
      //测试异常
      System.out.println(1/0);
      client.getCurrentConnection().commit();
      client.commitTransaction();
  } catch (Exception e) {
      e.printStackTrace();
           
  }finally{
   	  client.endTransaction();
  }

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

2016年本科毕业于合肥工业大学<br><br>信息与计算科学专业<br><br>目前在济南一家公司从事大数据的工作~~