前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住给大家分享一下。点击跳转到网站:https://www.captainai.net/dongkelun
前言
学习Spark源码绕不开通信,Spark通信是基于Netty实现的,所以先简单学习总结一下Netty。
Spark 通信历史
最开始: Akka
Spark 1.3: 开始引入Netty,为了解决大块数据(如Shuffle)的传输问题
Spark 1.6:支持配置使用 Akka 或者 Netty
Spark 2:完全废弃Akka,全部使用Netty
Akka 是一个用 Scala 编写的库,用于简化编写容错的、高可伸缩性的 Java 和 Scala 的 Actor 模型应用。
Spark 借鉴Akka 通过 Netty 实现了类似的简约版的Actor 模型
Netty
Server 主要代码:
1 | // 创建ServerBootstrap实例,服务器启动对象 |
主要是启动 ServerBootstrap、绑定端口、等待关闭。
Client 主要代码:
1 | // 创建Bootstrap实例,客户端启动对象 |
Server 添加 Handler
1 | bootstrap.childHandler(new ChannelInitializer<SocketChannel>() { |
1 | bootstrap.handler(new ChannelInitializer<SocketChannel>() { |
这里的 ServerHandler 和 ClientHandler 都是自己实现的类,处理具体的逻辑。
如channelActive 建立连接时发消息给服务器,channelRead 读取数据时调用,处理读取数据的逻辑。给服务器或者客户端发消息可以用 writeAndFlush 方法。
完整代码
地址:https://gitee.com/dongkelun/java-learning/tree/master/netty-learning/src/main/java/com/dkl/java/demo
NettyServer
1 | package com.dkl.java.demo; |
ServerHandler
1 | package com.dkl.java.demo; |
NettyClient
1 | package com.dkl.java.demo; |
ClientHandler
1 | package com.dkl.java.demo; |
运行截图


handler 执行顺序
Server 端
1 | 连接时: |
Client 端
1 | 执行 channelRegistered |
Spark 对应位置
- Spark版本:3.2.3
- Server: org.apache.spark.network.server.TransportServer.init
- Client: org.apache.spark.network.client.TransportClientFactory.createClient

