Spark 将DataFrame所有的列类型改为double

前言

由于Spark机器学习要求输入的DataFrame类型为数值类型，所以如果原始数据读进来的列为string类型，需要一一转化，而如果列很多的情况下一个转化很麻烦，所以能不能一个循环或者一个函数去解决呢。

1、单列转化方法

1
2
3
4
5
6
import org.apache.spark.sql.types._
val data = Array(("1", "2", "3", "4", "5"), ("6", "7", "8", "9", "10"))
val df = spark.createDataFrame(data).toDF("col1", "col2", "col3", "col4", "col5")

import org.apache.spark.sql.functions._
df.select(col("col1").cast(DoubleType)).show()
1
2
3
4
5
6
+----+
|col1|
+----+
| 1.0|
| 6.0|
+----+
more >>

展开全文 >>

centos7 ambari2.6.1.5+hdp2.6.4.0 大数据集群安装部署

前言

本文是讲如何在centos7（64位） 安装ambari+hdp,如果在装有原生hadoop等集群的机器上安装，需要先将集群服务停掉，然后将不需要的环境变量注释掉即可，如果不注释掉，后面虽然可以安装成功，但是在启动某些服务的时候可能会有异常，比如最后提到的hive启动异常。本文适合系统： RedHat7、CentOS7、Oracle Linux7(都是64位)
注意:centos7中文系统有bug（python脚本中文识别问题）,需要使用英文系统。
本文仅作参考（基本每个配置博客都有局限性和坑~），推荐先参考官方文档：
https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.1.5/bk_ambari-installation/content/ch_Getting_Ready.html
以下均在root用户下执行。

1、满足最低系统要求

1.1 浏览器

建议您将浏览器(自己使用的windows既可)更新至最新的稳定版本

1.2 软件要求（在每台主机上）

1
2
3
4
5
6
7
8
9
1.2.1 yum和rpm
1.2.2 scp, curl, unzip, tar、 wget
1.2.3 OpenSSL（v1.01，build 16或更高版本）
1.2.4 python：2.7(注意如果有使用python3.x的需求，不要改变python环境变量，否则3.x会报错)
1.2.5 jdk：1.8
1.2.6 mysql：5.6（官网上写的5.6，不确定更高版本有没有问题，也可以使用其他数据库，根据自己习惯）
1.2.7 内存要求：Ambari主机应该至少有1 GB RAM，500 MB空闲，（但如果使用的话，建议内存8g以上，我自己的虚拟机内存4g搭好后跑起来会很卡，配置低的话警告也会很多）
1.2.8 检查最大打开文件描述符,推荐的最大打开文件描述符数为10000或更多
1.2.9 mysql-connector-java
more >>

展开全文 >>

spark on yarn 配置及异常解决

前言

YARN 是在Hadoop 2.0 中引入的集群管理器，它可以让多种数据处理框架运行在一个共享的资源池上，并且通常安装在与Hadoop 文件系统（简称HDFS）相同的物理节点上。在这样配置的YARN 集群上运行Spark 是很有意义的，它可以让Spark 在存储数据的物理节点上运行，以快速访问HDFS 中的数据。

1、配置

1.1 配置HADOOP_CONF_DIR

1
vim /etc/profile
1
export HADOOP_CONF_DIR=/opt/hadoop-2.7.5/etc/hadoop
1
source /etc/profile
more >>

展开全文 >>

Spark 统计每天新增用户数

前言

本文源自一位群友的一道美团面试题，解题思路（基于倒排索引）和代码都是这位大佬（相对于尚处于小白阶段的我）写的，我只是在基于倒排索引的基础上帮忙想出了最后一步思路，感觉这个解题思路不错，值得记录一下。

1、原始数据

1
2
3
4
5
6
7
8
9
2017-01-01	a
2017-01-01	b
2017-01-01	c
2017-01-02	a
2017-01-02	b
2017-01-02	d
2017-01-03	b
2017-01-03	e
2017-01-03	f

根据数据可以看出我们要求的结果为：
2017-01-01 新增三个用户（a,b,c）
2017-01-02 新增一个用户（d）
2017-01-03 新增两个用户（e，f）
more >>

展开全文 >>

spark ML算法之线性回归使用

前言

本文是讲如何使用spark ml进行线性回归，不涉及线性回归的原理。

1、数据格式

1.1 普通标签格式

1.1.1 格式为：

1
标签,特征值1 特征值2 特征值3...
1
2
3
4
5
6
7
1,1.9
2,3.1
3,4
3.5,4.45
4,5.02
9,9.97
-2,-0.98

1.1.2 spark 读取

1、Rdd
旧版（mllib）的线性回归要求传入的参数类型为RDD[LabeledPoint]
more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

2016年本科毕业于合肥工业大学<br><br>信息与计算科学专业<br><br>目前在济南一家公司从事大数据的工作~~