scala 两个map合并，key相同时value相加

1、先看一下map自带的合并操作的效果

1
2
3
4
val map1 = Map("key1" -> 1, "key2" -> 3, "key3" -> 5)
val map2 = Map("key2" -> 4, "key3" -> 6, "key5" -> 10)
println(map1 + ("key1" -> 3))
println(map1 ++ map2)

结果：

1
2
Map(key1 -> 3, key2 -> 3, key3 -> 5)
Map(key1 -> 1, key2 -> 4, key3 -> 6, key5 -> 10)

可以看到现有的方法在key相同时，没有将value相加，而是操作符右边的值把左边的值覆盖掉了。
more >>

展开全文 >>

scala 下划线使用指南

原文地址：https://my.oschina.net/joymufeng/blog/863823   作者：joymufeng
下划线这个符号几乎贯穿了任何一本Scala编程书籍，并且在不同的场景下具有不同的含义，绕晕了不少初学者。正因如此，下划线这个特殊符号无形中增加Scala的入门难度。本文希望帮助初学者踏平这个小山坡。

1、用于替换Java的等价语法

由于大部分的Java关键字在Scala中拥有了新的含义，所以一些基本的语法在Scala中稍有变化。

1.1 导入通配符

*在Scala中是合法的方法名，所以导入包时要使用_代替。

1
2
3
4
5
//Java
import java.util.*;

//Scala
import java.util._

more >>

展开全文 >>

Spark连接Hive（spark-shell和Eclipse两种方式）

1、在服务器（虚拟机）spark-shell连接hive

1.1 将hive-site.xml拷贝到spark/conf里

1
cp /opt/apache-hive-2.3.2-bin/conf/hive-site.xml /opt/spark-2.2.1-bin-hadoop2.7/conf/

1.2 将mysql驱动拷贝到spark/jar里

1
cp /opt/apache-hive-2.3.2-bin/bin/mysql-connector-java-5.1.46-bin.jar /opt/spark-2.2.1-bin-hadoop2.7/jars/

1.3 启动spark-shell,输入代码测试

1
2
3
4
spark-shell
import org.apache.spark.sql.hive.HiveContext
val hiveContext = new HiveContext(sc)
hiveContext.sql("select * from test").show()
more >>

展开全文 >>

centos7 hive 单机模式安装配置

前言：

由于只是在自己的虚拟机上进行学习，所以对hive只是进行最简单的配置，其他复杂的配置文件没有配置。

1、前提

1.1 安装配置jdk1.8

1.2 安装hadoop2.x

hadoop单机模式安装见：centos7 hadoop 单机模式安装配置

1.3 安装mysql并配置myql允许远程访问，我的mysql版本5.7.18。

mysql数据库安装过程请参考：Centos 7.2 安装 Mysql 5.7.13

2、下载hive

下载地址：http://mirror.bit.edu.cn/apache/hive/，我下载的是apache-hive-2.3.2-bin.tar.gz。

1
2
wget http://mirror.bit.edu.cn/apache/hive/hive-2.3.2/apache-hive-2.3.2-bin.tar.gz
或者下载到本地，通过工具上传到虚拟机中

3、解压到/opt目录下（目录根据自己习惯）

1
tar -zxvf apache-hive-2.3.2-bin.tar.gz  -C /opt/
more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

2016年本科毕业于合肥工业大学<br><br>信息与计算科学专业<br><br>目前在济南一家公司从事大数据的工作~~