vmware centos7 克隆

前言

记录一下vmware如何克隆一个虚拟机，并解决克隆的centos7虚拟机遇到的网络问题

克隆方法

右键点击要克隆的虚拟机->管理->克隆，然后下一步->下一步，克隆类型选择创建完整克隆->输入虚拟机名称，选择位置，点击完成，然后等待一直到完成

more >>

展开全文 >>

在线水平扩展/收缩验证

前言

记录在线水平扩展/收缩验证过程

水平扩展

跑产生数据的任务

执行机器为194

1
2
3
 su - hive
 kinit -kt /etc/security/keytabs/hive.service.keytab hive/indata-10-111-24-194.indatab.com@INDATAB.COM
/usr/hdp/3.1.0.0-78/hadoop/bin/hadoop jar /usr/hdp/3.1.0.0-78/hadoop-mapreduce/hadoop-mapreduce-examples-3.1.1.3.1.0.0-78.jar  teragen  10737418 /terasort/1T-input

more >>

展开全文 >>

Spark 3.0.1 Structured Streaming 提交程序异常解决

前言

先说解决办法，提交时除了添加spark-sql-kafka和kafka-clients jar包外，还要添加spark-token-provider-kafka和commons-pool jar包，具体为spark-token-provider-kafka-0-10_2.12-3.0.1.jar和commons-pool2-2.6.2.jar

注意：Spark 3 版本和Spark 2有些不一样，提交Structured Streaming需要注意Kafka client 版本需要>=0.11.0.0,这个在spark官方文档里有说明：Please note that to use the headers functionality, your Kafka client version should be version 0.11.0.0 or up.

版本

  • Spark 3.0.1
  • Scala 2.12.2
  • kafka-clients 2.6.0
more >>

展开全文 >>

Java API 连接 Hbase示例

前言

记录一下Java API 连接 Hbase的代码，并记录遇到的异常及解决办法

代码

首先pom.xml里添加hbase-client依赖：

1
2
3
4
5
<dependency>
    <groupId>org.apache.hbase</groupId>
    <artifactId>hbase-client</artifactId>
    <version>1.4.13</version>
</dependency>

然后将hbase-site.xml，core-site.xml复制到本地（如果实在本地运行的话）

more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

2016年本科毕业于合肥工业大学<br><br>信息与计算科学专业<br><br>目前在济南一家公司从事大数据、前端的工作~~