Spark连接Hive（spark-shell和Eclipse两种方式）

2018-03-25

1、在服务器（虚拟机）spark-shell连接hive

1.1 将hive-site.xml拷贝到spark/conf里

1	cp /opt/apache-hive-2.3.2-bin/conf/hive-site.xml /opt/spark-2.2.1-bin-hadoop2.7/conf/

1.2 将mysql驱动拷贝到spark/jar里

1	cp /opt/apache-hive-2.3.2-bin/bin/mysql-connector-java-5.1.46-bin.jar /opt/spark-2.2.1-bin-hadoop2.7/jars/

1.3 启动spark-shell,输入代码测试

spark-shell
import org.apache.spark.sql.hive.HiveContext
val hiveContext = new HiveContext(sc)
hiveContext.sql("select * from test").show()

more >>

展开全文 >>

centos7 hive 单机模式安装配置

2018-03-24

前言：

由于只是在自己的虚拟机上进行学习，所以对hive只是进行最简单的配置，其他复杂的配置文件没有配置。

1、前提

1.1 安装配置jdk1.8

1.2 安装hadoop2.x

hadoop单机模式安装见：centos7 hadoop 单机模式安装配置

1.3 安装mysql并配置myql允许远程访问，我的mysql版本5.7.18。

mysql数据库安装过程请参考：Centos 7.2 安装 Mysql 5.7.13

2、下载hive

下载地址：http://mirror.bit.edu.cn/apache/hive/，我下载的是apache-hive-2.3.2-bin.tar.gz。

1 2	wget http://mirror.bit.edu.cn/apache/hive/hive-2.3.2/apache-hive-2.3.2-bin.tar.gz 或者下载到本地，通过工具上传到虚拟机中

3、解压到/opt目录下（目录根据自己习惯）

1	tar -zxvf apache-hive-2.3.2-bin.tar.gz -C /opt/

more >>

展开全文 >>

centos7 hadoop 单机模式安装配置

2018-03-23

前言

由于现在要用spark,而学习spark会和hdfs和hive打交道，之前在公司服务器配的分布式集群，离开公司之后，自己就不能用了，后来用ambari搭的三台虚拟机的集群太卡了，所以就上网查了一下hadoop+hive的单机部署，以便自己能进行简单的学习，这里记录一下，本来想把hadoop和hive的放在一起写，由于太多，就分成两篇写了。

1、首先安装配置jdk（我安装的1.8）

2、下载hadoop

下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/，我下载的是hadoop-2.7.5.tar.gz
（由于我之前用的2.7.1是几年前下载保存在本地的，现在发现之前在配置spark那篇写的那个hadoop下载地址较慢，所以改成这个地址）

3、解压到/opt目录下（目录根据自己习惯）

1	tar -zxvf hadoop-2.7.5.tar.gz -C /opt/

more >>

展开全文 >>

连接mysql报错：Exception in thread "main" java.sql.SQLException:The server time zone value 'EDT' is unrecognized or represents more than one time zone

2018-03-22

最近用spark和srping mybatis 连接mysql会报如下错误：

Exception in thread "main" java.sql.SQLException: The server time zone value 'EDT' is unrecognized or represents more than one time zone. You must configure either the server or JDBC driver (via the serverTimezone configuration property) to use a more specifc time zone value if you want to utilize time zone support.

网上查了一下说是数据库和系统时区差异所造成的，我想应该是我在虚拟机上装的centos系统是英文版导致的，解决办法有如下两个：

1、修改Mysql的时区为东8区

1	set global time_zone='+8:00'

2、在连接数据库的url后面加上?serverTimezone=UTC，即默认0时区

1	jdbc:mysql://192.168.44.128:3306/hive?serverTimezone=UTC

展开全文 >>

Spark Sql 连接mysql

2018-03-21

1、基本概念和用法（摘自spark官方文档中文版）

Spark SQL 还有一个能够使用 JDBC 从其他数据库读取数据的数据源。当使用 JDBC 访问其它数据库时，应该首选 JdbcRDD。这是因为结果是以数据框（DataFrame）返回的，且这样 Spark SQL操作轻松或便于连接其它数据源。因为这种 JDBC 数据源不需要用户提供 ClassTag，所以它也更适合使用 Java 或 Python 操作。（注意，这与允许其它应用使用 Spark SQL 执行查询操作的 Spark SQL JDBC 服务器是不同的）。

使用 JDBC 访问特定数据库时，需要在 spark classpath 上添加对应的 JDBC 驱动配置。例如，为了从 Spark Shell 连接 postgres，你需要运行如下命令 :

1	bin/spark-shell --driver-class-path postgresql-9.4.1207.jar --jars postgresql-9.4.1207.jar

通过调用数据源API，远程数据库的表可以被加载为DataFrame 或Spark SQL临时表。支持的参数有 :

属性名	含义
url	要连接的 JDBC URL。
dbtable	要读取的 JDBC 表。注意，一个 SQL 查询的 From 分语句中的任何有效表都能被使用。例如，既可以是完整表名，也可以是括号括起来的子查询语句。
driver	用于连接 URL 的 JDBC 驱动的类名。
partitionColumn, lowerBound, upperBound, numPartitions	这几个选项，若有一个被配置，则必须全部配置。它们描述了当从多个 worker 中并行的读取表时，如何对它分区。partitionColumn 必须是所查询表的一个数值字段。注意，lowerBound 和 upperBound 都只是用于决定分区跨度的，而不是过滤表中的行。因此，表中的所有行将被分区并返回。
fetchSize	JDBC fetch size，决定每次读取多少行数据。默认将它设为较小值（如，Oracle上设为 10）有助于 JDBC 驱动上的性能优化。

其实该部分翻译自Spark官方文档，所以对于翻译有疑问的可直接看官方文档 more >>

展开全文 >>