spark ML算法之线性回归使用

前言

本文是讲如何使用spark ml进行线性回归，不涉及线性回归的原理。

1、数据格式

1.1 普通标签格式

1.1.1 格式为：

1
标签,特征值1 特征值2 特征值3...
1
2
3
4
5
6
7
1,1.9
2,3.1
3,4
3.5,4.45
4,5.02
9,9.97
-2,-0.98

1.1.2 spark 读取

1、Rdd
旧版（mllib）的线性回归要求传入的参数类型为RDD[LabeledPoint]
more >>

展开全文 >>

centos7 hadoop 集群安装配置

前言：

本文安装配置的hadoop为分布式的集群，单机配置见：centos7 hadoop 单机模式安装配置
我用的三个centos7, 先将常用环境配置好（CentOS 初始环境配置），设置的ip分别为：192.168.44.138、192.168.44.139，192.168.44.140，分别对应别名master、slave1、slave2

1、首先安装配置jdk（我安装的1.8）

2、给每个虚拟机的ip起个别名

在每个虚拟机上执行

1
vim /etc/hosts

在最下面添加：

1
2
3
192.168.44.138 master
192.168.44.139 slave1
192.168.44.140 slave2

在每个虚拟机上ping一下，保证都能ping通

1
2
3
ping master
ping slave1
ping slave2

3、SSH免密码登录

保证三台机器都可以免密互通，参考：linux ssh 免密登录

3、下载hadoop（每台机器）

下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/，我下载的是hadoop-2.7.5.tar.gz

4、解压到/opt目录下（每台机器、目录根据自己习惯）

1
tar -zxvf hadoop-2.7.5.tar.gz  -C /opt/
more >>

展开全文 >>

scala 两个map合并，key相同时value相加

1、先看一下map自带的合并操作的效果

1
2
3
4
val map1 = Map("key1" -> 1, "key2" -> 3, "key3" -> 5)
val map2 = Map("key2" -> 4, "key3" -> 6, "key5" -> 10)
println(map1 + ("key1" -> 3))
println(map1 ++ map2)

结果：

1
2
Map(key1 -> 3, key2 -> 3, key3 -> 5)
Map(key1 -> 1, key2 -> 4, key3 -> 6, key5 -> 10)

可以看到现有的方法在key相同时，没有将value相加，而是操作符右边的值把左边的值覆盖掉了。
more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

2016年本科毕业于合肥工业大学<br><br>信息与计算科学专业<br><br>目前在济南一家公司从事大数据的工作~~