Spark ML LR 用 setWeightCol 解决数据不平衡

2019-06-03

前言

如题，记录在Spark ML LR中如何解决数据不平衡。参考：Dealing with unbalanced datasets in Spark MLlib

1、数据不平衡

指label == 1和label == 0 的数据比例的很多，如80%和20%，这样导致模型的结果的准确率也不平衡，不准确。

2、setWeightCol 主要代码

more >>

展开全文 >>

英语学习

2019-05-31

每日英语

1、workload 工作量；工作负载
2、state-of-the-art adj. 最先进的；已经发展的；达到最高水准的
3、seamlessly adv. 无缝地
4、diverse adj. 不同的，相异的；多种多样的，形形色色的
5、numerous adj. 许多的，很多的

Run workloads 100x faster.
将工作负载运行速度提高100倍。

展开全文 >>

Spark读取CSV异常 java.lang.ArrayIndexOutOfBoundsException:62

2019-05-30

前言

记录一个异常

场景

Spark读取CSV文件，文件里的某些内容编码格式有问题或者有特殊字符

一种情况是 62,我碰到的这种，另一种是63,查资料查的

1	java.lang.ArrayIndexOutOfBoundsException:62

1	java.lang.ArrayIndexOutOfBoundsException:63

more >>

展开全文 >>

Oracle和MySQL如何判断是否为空或NULL

2019-05-29

前言

如题，本文总结Oracle和MySQL如何判断是否为空或NULL

1、Oracle

1.1 建表

CREATE TABLE TEST_NULL (
	ID VARCHAR2(100),
	NAME VARCHAR2(100)
) ;

1.2 INSERT

1
2
3

INSERT INTO TEST_NULL (ID, NAME) VALUES('001', '张三');
INSERT INTO TEST_NULL (ID, NAME) VALUES('', '');
INSERT INTO TEST_NULL (ID, NAME) VALUES(NULL, NULL);

more >>

展开全文 >>

MySQL和Oracle字符串截取函数用法总结（比较）

2019-05-28

前言

本文总结MySQL和Oracle的字符串截取函数的用法

工作中MySQL和Oracle都用，有时会碰到两种数据库SQL用法的不同，就会上网查一下，但是时间久了，就忘记了，好记性不如烂笔头，所以写个笔记备忘一下~

1、MySql

函数：SUBSTRING 或 SUBSTR

1.1 语法

位置

1 2	SUBSTRING(string,position); SUBSTRING(string FROM position);

位置和长度

1 2	SUBSTRING(string,position,length); SUBSTRING(string FROM position FOR length);

1.2 下标

-	H	e	l	l	0		W	o	r	l	d
正数	1	2	3	4	5	6	7	8	9	10	11
负数	-11	-10	-9	-8	-7	-6	-5	-4	-3	-2	-1

more >>

展开全文 >>