Flink 源码编译

打包命令

打包整个项目

1
mvn clean package -DskipTests -Drat.skip=true

打包单个模块

1
mvn clean package -DskipTests -Drat.skip=true -pl flink-dist

如果该模块依赖其他模块，可能需要先将其他模块 install 到本地，如果依赖的模块的源代码有修改，则需要重新install，比如 flink-dist 依赖的 flink-clients 模块源代码有改动，则需要先：

1
mvn clean install -DskipTests -Drat.skip=true -pl flink-clients

修改代码

如果要打的源代码修改过，那么需要先执行：

1
2
3
mvn spotless:apply
# 或只对单个模块
mvn spotless:apply -pl flink-clients

否则会报：

1
2
3
The following files had format violations:
……
Run 'mvn spotless:apply' to fix these violations.

more >>

展开全文 >>

Linux 和 Windows 安装 Clash 并配置代理

前言

上篇文章 讲了 Ghelper 的安装配置，并在最后提到 Ghelper 只是可以通过浏览器访问，要想在 Linux 服务器或者 Windows 本地命令行中，则可以通过 Clash 代理的方式。

Linux

安装

1
2
3
4
5
6
mkdir /usr/local/clash
cd /usr/local/clash
wget https://github.com/Kuingsmile/clash-core/releases/download/1.18/clash-linux-amd64-v1.18.0.gz
gunzip -d clash-linux-amd64-v1.18.0.gz
chmod +x clash-linux-amd64-v1.18.0
ln -s clash-linux-amd64-v1.18.0 clash

运行

1
2
cd /usr/local/clash
./clash
more >>

展开全文 >>

Ollama 简介及安装部署

一、Ollama 简介

Ollama 是一个专注于本地化部署和运行大型语言模型（LLM）的工具，旨在让用户能够在自己的设备上高效地运行和微调模型。它由 Ollama 团队开发，这是一家独立的初创公司，由 Michael Chiang 和 Jeffrey Morgan 创立，总部位于加利福尼亚州帕洛阿尔托 。Ollama 的代码完全开源，遵循 MIT 开源协议，其开源地址为：https://github.com/ollama/ollama ，用户可以自由查看、修改和分发。其主要特点包括：

跨平台支持：兼容 Windows、Linux、MacOS 系统。

丰富模型库：提供 1700 + 大语言模型，如 Qwen、Llama 等，可在官网 model library 中直接下载使用。

用户模型上传：支持将 huggingface 等地方的 ggml 格式模型导入使用，也能将基于 pytorch 等格式的模型转换为 ggml 格式后导入。

自定义配置：用户可通过编写 modelfile 配置文件自定义模型推理参数，如 temperature、top_p 等，调节模型生成效果。

多 GPU 并行加速：支持多 GPU 并行推理加速，在多卡环境下可设置环境变量指定特定 GPU。

more >>

展开全文 >>

Spark 源码 | 脚本分析总结

前言

最初是想学习一下Spark提交流程的源码，比如 Spark On Yarn 、Standalone。之前只是通过网上总结的文章大概了解整体的提交流程，但是每个文章描述的又不太一样，弄不清楚到底哪个说的准确，比如Client 和 Cluster 模式的区别，Driver到底是干啥的，是如何定义的，为了彻底弄清楚这些疑问，所以决定学习一下相关的源码。因为不管是服务启动还是应用程序启动，都是通过脚本提交的，所以我们先从分析脚本开始。

版本

Spark 3.2.3

Spark 脚本

先看一下Spark 主要的脚本有哪些：spark-submit、spark-sql、spark-shell、spark-class、start-all.sh、stop-all.sh、start-master.sh、start-workers.sh 等。

spark-sql

1
2
3
4
5
6
if [ -z "${SPARK_HOME}" ]; then
  source "$(dirname "$0")"/find-spark-home
fi

export _SPARK_CMD_USAGE="Usage: ./bin/spark-sql [options] [cli option]"
exec "${SPARK_HOME}"/bin/spark-submit --class org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver "$@"

通过 spark-submit 提交类 org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver
more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

2016年本科毕业于合肥工业大学<br><br>信息与计算科学专业<br><br>目前在济南一家公司从事大数据的工作~~