centos7 hadoop 集群安装配置

2018-04-05

前言：

本文安装配置的hadoop为分布式的集群，单机配置见：centos7 hadoop 单机模式安装配置
我用的三个centos7, 先将常用环境配置好（CentOS 初始环境配置），设置的ip分别为：192.168.44.138、192.168.44.139，192.168.44.140，分别对应别名master、slave1、slave2

1、首先安装配置jdk（我安装的1.8）

2、给每个虚拟机的ip起个别名

在每个虚拟机上执行

1	vim /etc/hosts

在最下面添加：

1
2
3

192.168.44.138 master
192.168.44.139 slave1
192.168.44.140 slave2

在每个虚拟机上ping一下，保证都能ping通

1
2
3

ping master
ping slave1
ping slave2

3、SSH免密码登录

保证三台机器都可以免密互通，参考：linux ssh 免密登录

3、下载hadoop（每台机器）

下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/，我下载的是hadoop-2.7.5.tar.gz

4、解压到/opt目录下（每台机器、目录根据自己习惯）

1	tar -zxvf hadoop-2.7.5.tar.gz -C /opt/

more >>

展开全文 >>

linux ssh 免密登录

2018-04-05

以下用三台centos为例，ip分别为192.168.44.138、192.168.44.139、192.168.44.140，分别对应别名master、slave1、slave2

1、首先在每个机器上执行

1	ssh-keygen -t rsa

一直按回车默认就好

more >>

展开全文 >>

scala 两个map合并，key相同时value相加

2018-04-01

1、先看一下map自带的合并操作的效果

val map1 = Map("key1" -> 1, "key2" -> 3, "key3" -> 5)
val map2 = Map("key2" -> 4, "key3" -> 6, "key5" -> 10)
println(map1 + ("key1" -> 3))
println(map1 ++ map2)

结果：

1 2	Map(key1 -> 3, key2 -> 3, key3 -> 5) Map(key1 -> 1, key2 -> 4, key3 -> 6, key5 -> 10)

可以看到现有的方法在key相同时，没有将value相加，而是操作符右边的值把左边的值覆盖掉了。
more >>

展开全文 >>

scala 下划线使用指南

2018-03-29

原文地址：https://my.oschina.net/joymufeng/blog/863823 作者：joymufeng
下划线这个符号几乎贯穿了任何一本Scala编程书籍，并且在不同的场景下具有不同的含义，绕晕了不少初学者。正因如此，下划线这个特殊符号无形中增加Scala的入门难度。本文希望帮助初学者踏平这个小山坡。

1、用于替换Java的等价语法

由于大部分的Java关键字在Scala中拥有了新的含义，所以一些基本的语法在Scala中稍有变化。

1.1 导入通配符

*在Scala中是合法的方法名，所以导入包时要使用_代替。

//Java
import java.util.*;

//Scala
import java.util._

more >>

展开全文 >>

Spark连接Hive（spark-shell和Eclipse两种方式）

2018-03-25

1、在服务器（虚拟机）spark-shell连接hive

1.1 将hive-site.xml拷贝到spark/conf里

1	cp /opt/apache-hive-2.3.2-bin/conf/hive-site.xml /opt/spark-2.2.1-bin-hadoop2.7/conf/

1.2 将mysql驱动拷贝到spark/jar里

1	cp /opt/apache-hive-2.3.2-bin/bin/mysql-connector-java-5.1.46-bin.jar /opt/spark-2.2.1-bin-hadoop2.7/jars/

1.3 启动spark-shell,输入代码测试

spark-shell
import org.apache.spark.sql.hive.HiveContext
val hiveContext = new HiveContext(sc)
hiveContext.sql("select * from test").show()

more >>

展开全文 >>