scala 两个map合并，key相同时value相加

2018-04-01

1、先看一下map自带的合并操作的效果

val map1 = Map("key1" -> 1, "key2" -> 3, "key3" -> 5)
val map2 = Map("key2" -> 4, "key3" -> 6, "key5" -> 10)
println(map1 + ("key1" -> 3))
println(map1 ++ map2)

结果：

1 2	Map(key1 -> 3, key2 -> 3, key3 -> 5) Map(key1 -> 1, key2 -> 4, key3 -> 6, key5 -> 10)

可以看到现有的方法在key相同时，没有将value相加，而是操作符右边的值把左边的值覆盖掉了。
more >>

展开全文 >>

scala 下划线使用指南

2018-03-29

原文地址：https://my.oschina.net/joymufeng/blog/863823 作者：joymufeng
下划线这个符号几乎贯穿了任何一本Scala编程书籍，并且在不同的场景下具有不同的含义，绕晕了不少初学者。正因如此，下划线这个特殊符号无形中增加Scala的入门难度。本文希望帮助初学者踏平这个小山坡。

1、用于替换Java的等价语法

由于大部分的Java关键字在Scala中拥有了新的含义，所以一些基本的语法在Scala中稍有变化。

1.1 导入通配符

*在Scala中是合法的方法名，所以导入包时要使用_代替。

//Java
import java.util.*;

//Scala
import java.util._

more >>

展开全文 >>

Spark连接Hive（spark-shell和Eclipse两种方式）

2018-03-25

1、在服务器（虚拟机）spark-shell连接hive

1.1 将hive-site.xml拷贝到spark/conf里

1	cp /opt/apache-hive-2.3.2-bin/conf/hive-site.xml /opt/spark-2.2.1-bin-hadoop2.7/conf/

1.2 将mysql驱动拷贝到spark/jar里

1	cp /opt/apache-hive-2.3.2-bin/bin/mysql-connector-java-5.1.46-bin.jar /opt/spark-2.2.1-bin-hadoop2.7/jars/

1.3 启动spark-shell,输入代码测试

spark-shell
import org.apache.spark.sql.hive.HiveContext
val hiveContext = new HiveContext(sc)
hiveContext.sql("select * from test").show()

more >>

展开全文 >>

centos7 hive 单机模式安装配置

2018-03-24

前言：

由于只是在自己的虚拟机上进行学习，所以对hive只是进行最简单的配置，其他复杂的配置文件没有配置。

1、前提

1.1 安装配置jdk1.8

1.2 安装hadoop2.x

hadoop单机模式安装见：centos7 hadoop 单机模式安装配置

1.3 安装mysql并配置myql允许远程访问，我的mysql版本5.7.18。

mysql数据库安装过程请参考：Centos 7.2 安装 Mysql 5.7.13

2、下载hive

下载地址：http://mirror.bit.edu.cn/apache/hive/，我下载的是apache-hive-2.3.2-bin.tar.gz。

1 2	wget http://mirror.bit.edu.cn/apache/hive/hive-2.3.2/apache-hive-2.3.2-bin.tar.gz 或者下载到本地，通过工具上传到虚拟机中

3、解压到/opt目录下（目录根据自己习惯）

1	tar -zxvf apache-hive-2.3.2-bin.tar.gz -C /opt/

more >>

展开全文 >>

centos7 hadoop 单机模式安装配置

2018-03-23

前言

由于现在要用spark,而学习spark会和hdfs和hive打交道，之前在公司服务器配的分布式集群，离开公司之后，自己就不能用了，后来用ambari搭的三台虚拟机的集群太卡了，所以就上网查了一下hadoop+hive的单机部署，以便自己能进行简单的学习，这里记录一下，本来想把hadoop和hive的放在一起写，由于太多，就分成两篇写了。

1、首先安装配置jdk（我安装的1.8）

2、下载hadoop

下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/，我下载的是hadoop-2.7.5.tar.gz
（由于我之前用的2.7.1是几年前下载保存在本地的，现在发现之前在配置spark那篇写的那个hadoop下载地址较慢，所以改成这个地址）

3、解压到/opt目录下（目录根据自己习惯）

1	tar -zxvf hadoop-2.7.5.tar.gz -C /opt/

more >>

展开全文 >>