win10 spark+scala+eclipse+sbt 安装配置

2018-03-15

1、首先安装配置jdk1.8以上,建议全部的安装路径不要有空格

2、安装spark

2.1 下载

下载地址：http://spark.apache.org/downloads.html，我下载的是 spark-2.2.1-bin-hadoop2.7.tgz

2.2 安装

解压到指定路径下即可，比如 D:\Company\bigdata\spark-2.2.1-bin-hadoop2.7

2.3 配置环境变量

在系统变量Path添加一条：D:\Company\bigdata\spark-2.2.1-bin-hadoop2.7\bin 即可
more >>

展开全文 >>

Spark基本概念（便于自己随时查阅--摘自Spark快速大数据分析）

2018-01-23

1、 RDD

在Spark 中，我们通过对分布式数据集的操作来表达我们的计算意图，这些计算会自动地在集群上并行进行。这样的数据集被称为弹性分布式数据集（resilient distributed dataset），简称RDD。RDD 是Spark 对分布式数据和计算的基本抽象。
RDD 支持两种操作：转化操作和行动操作。RDD 的转化操作是返回一个新的RDD 的操作，比如map() 和filter()，而行动操作则是向驱动器程序返回结果或把结果写入外部系统的操作，会触发实际的计算，比如count() 和first()。Spark 对待转化操作和行动操作的方式很不一样，因此理解你正在进行的操作的类型是很重要的。如果对于一个特定的函数是属于转化操作还是行动操作感到困惑，你可以看看它的返回值类型：转化操作返回的是RDD，而行动操作返回的是其他的数据类型。
more >>

展开全文 >>

ibatis 事务 java

2018-01-22

java 代码

SqlMapClient client = getSqlMapClient();
try {
      client.startTransaction();
      client.getCurrentConnection().setAutoCommit(false);
      client.delete("order.delete");
      client.insert("order.insertResult");
           
      //测试异常
      System.out.println(1/0);
      client.getCurrentConnection().commit();
      client.commitTransaction();
  } catch (Exception e) {
      e.printStackTrace();
           
  }finally{
   	  client.endTransaction();
  }