YARN 是在Hadoop 2.0 中引入的集群管理器，它可以让多种数据处理框架运行在一个共享的资源池上，并且通常安装在与Hadoop 文件系统（简称HDFS）相同的物理节点上。在这样配置的YARN 集群上运行Spark 是很有意义的，它可以让Spark 在存储数据的物理节点上运行，以快速访问HDFS 中的数据。
1 | vim /etc/profile |
1 | export HADOOP_CONF_DIR=/opt/hadoop-2.7.5/etc/hadoop |
1 | source /etc/profile |
本文源自一位群友的一道美团面试题，解题思路（基于倒排索引）和代码都是这位大佬（相对于尚处于小白阶段的我）写的，我只是在基于倒排索引的基础上帮忙想出了最后一步思路，感觉这个解题思路不错，值得记录一下。
1 | 2017-01-01 a |
根据数据可以看出我们要求的结果为：
2017-01-01 新增三个用户（a,b,c）
2017-01-02 新增一个用户（d）
2017-01-03 新增两个用户（e，f）
more >>
这个是在大三实习的时候记录在印象笔记里的，当时学长给我的，现在稍加改动一下，记录在这里。
若刚装完系统ping不通外网，如baidu.com,请参考：http://dongkelun.com/2018/01/17/networkIsUnreachable/
在/etc/resolv.conf添加：1
2
3nameserver 114.114.114.114
nameserver 8.8.8.8
nameserver 8.8.4.4
然后执行1
chattr +i /etc/resolv.conf
本文安装配置的hadoop为分布式的集群，单机配置见：centos7 hadoop 单机模式安装配置
我用的三个centos7, 先将常用环境配置好（CentOS 初始环境配置），设置的ip分别为：192.168.44.138、192.168.44.139，192.168.44.140，分别对应别名master、slave1、slave2
在每个虚拟机上执行1
vim /etc/hosts
在最下面添加：1
2
3192.168.44.138 master
192.168.44.139 slave1
192.168.44.140 slave2
在每个虚拟机上ping一下，保证都能ping通1
2
3ping master
ping slave1
ping slave2
保证三台机器都可以免密互通，参考：linux ssh 免密登录
下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/，我下载的是hadoop-2.7.5.tar.gz
1 | tar -zxvf hadoop-2.7.5.tar.gz -C /opt/ |
tag:
缺失模块。
1、请确保node版本大于6.2
2、在博客根目录（注意不是yilia根目录）执行以下命令：
npm i hexo-generator-json-content --save
3、在根目录_config.yml里添加配置：
jsonContent:
meta: false
pages: false
posts:
title: true
date: true
path: true
text: false
raw: false
content: false
slug: false
updated: false
comments: false
link: false
permalink: false
excerpt: false
categories: false
tags: true