Spark读取CSV异常 java.lang.ArrayIndexOutOfBoundsException:62

2019-05-30

前言

记录一个异常

场景

Spark读取CSV文件，文件里的某些内容编码格式有问题或者有特殊字符

一种情况是 62,我碰到的这种，另一种是63,查资料查的

1	java.lang.ArrayIndexOutOfBoundsException:62

1	java.lang.ArrayIndexOutOfBoundsException:63

more >>

展开全文 >>

Oracle和MySQL如何判断是否为空或NULL

2019-05-29

前言

如题，本文总结Oracle和MySQL如何判断是否为空或NULL

1、Oracle

1.1 建表

CREATE TABLE TEST_NULL (
	ID VARCHAR2(100),
	NAME VARCHAR2(100)
) ;

1.2 INSERT

1
2
3

INSERT INTO TEST_NULL (ID, NAME) VALUES('001', '张三');
INSERT INTO TEST_NULL (ID, NAME) VALUES('', '');
INSERT INTO TEST_NULL (ID, NAME) VALUES(NULL, NULL);

more >>

展开全文 >>

MySQL和Oracle字符串截取函数用法总结（比较）

2019-05-28

前言

本文总结MySQL和Oracle的字符串截取函数的用法

工作中MySQL和Oracle都用，有时会碰到两种数据库SQL用法的不同，就会上网查一下，但是时间久了，就忘记了，好记性不如烂笔头，所以写个笔记备忘一下~

1、MySql

函数：SUBSTRING 或 SUBSTR

1.1 语法

位置

1 2	SUBSTRING(string,position); SUBSTRING(string FROM position);

位置和长度

1 2	SUBSTRING(string,position,length); SUBSTRING(string FROM position FOR length);

1.2 下标

-	H	e	l	l	0		W	o	r	l	d
正数	1	2	3	4	5	6	7	8	9	10	11
负数	-11	-10	-9	-8	-7	-6	-5	-4	-3	-2	-1

more >>

展开全文 >>

Logistic Regression 学习总结

2019-05-27

前言

Logistic Regression即Logistic回归，缩写为LR，属于分类算法。(中文有人叫逻辑回归也有人叫逻辑斯谛回归~)
LR的Logistic，是因为它使用了Logisitic函数：

$f(z)=\frac{e^z}{e^z+1}=\frac{1}{1+e^{-z}}$ (1)

也叫Sigmoid函数，因为其函数曲线很像一个“S””型，所以其曲线又叫 sigmoid曲线（S型曲线）

注：百度百科里的Logistic函数也就是原始的Logistic为：
$P(t)=\frac{KP_0e^{rt}}{K+P_0(e^{rt}-1)}$ (2)
当K=1,r=1,$P_0$=$\frac{1}{2}$时,公式(2)就等价于公式(1)了。

more >>

展开全文 >>

Nginx 安装配置

2019-04-24

前言

搞了这么久前端，是时候学习一下Nginx了~~

Nginx的作用：作为反向代理服务器、负载均衡
我目前是用来作为反向代理服务器~

1、安装

安装很简单,我参考：CentOS 7 下 yum 安装和配置 Nginx

1.1 添加yum源

1 2	sudo rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm sudo yum repolist

1.2 安装

1	sudo yum install nginx

more >>

展开全文 >>