📖Linux｜网络

专业术语

• 总线型拓扑 Bus Topology

• 环型拓扑 Ring Topology

• 星型拓扑 Star Topology）

• 网状型拓扑 Mesh Topology

• 树型拓扑 Tree Topology

• 注册的插座 RJ Registered Jack

• 网络接口卡 NIC Network Interface Card

• 集线器 HUB

• 交换机 Switch

• 路由器 Router

• 开放系统互联模型 Open Systems Interconnection Model

• 物理层 Physical Layer

• 数据链路层 Data Link Layer

• 网络层 Network Layer

• 传输层 Transport Layer

• 会话层 Session Layer

• 表示层 Presentation Layer

• 应用层 Application Layer

• 封装 Encapsulation

• 解封装 Decapsulation

• 吞吐量 Throughput

• 带宽 Bandwidth

• 延迟 Latency

• 提出 Raise

• 中断请求 Interrupt ReQuest

• 接收端缩放 Receive Side Scaling(RSS)

• 接收数据包转向 Receive Packet Steering (RPS)

• 接收数据流转向 Receive Flow Steering (RFS)

• 亲和力 Affinity

• 处理器间中断 Inter-processor Interrupt(IPI)

• 路径MTU发现 Path MTU Discovery PMTUD

网络拓扑结构

 

 

RJ45

NIC

HUB

Switch

 

Router

• 总线型 参考
• 优点：简单易实现，成本低，易扩展。
• 缺点：单点故障多，信号冲突，难排查

• 环型
• 优点：有序传输，无冲突，适合高速
• 缺点：故障影响大，扩展困难，成本高

• 星型
• 优点：可靠性高，易管理，扩展性强
• 缺点：中央依赖大，布线成本高

• 网状型
• 优点：冗余高，容错性强，负载均衡
• 缺点：成本高，布线复杂，难维护

• 树型
• 优点：结构灵活，易扩展，集中管理
• 缺点：根节点依赖，结构复杂，成本高

---

物理组网所需物理设备：参考

设备	特点
RJ45	插头有8个凹槽和8个触点
网卡	48BitMac地址，全球唯一
集线器	纯转发，广播，共享带宽
交换机	地址表，独立带宽，隔广播
路由器	寻路径，数据转换

---

国际光缆

OSI七层模型与TCP/IP模型

OSI七层模型和TCP/IP模型都是为了解决网络通信问题而设计的

OSI（概念模型)	TCP/IP（实践模型）
应用层	应用层
表示层	ㅤ
会话层	ㅤ
传输层	传输层
网络层	网络层
数据链路层	数据链路层
物理层	物理层

 

从模型定义中可以解读两个事实：

1. 数据需要封装和解封装

2. 若读取某层数据，则需解封装下层协议

物理层

• 网卡需要网卡驱动才能使用
• 推荐使用设备制造商提供的官方驱动程序，保证兼容性和稳定性。

• 接收报文
1. 数据包进入物理网卡，目的地址不属于该网卡则被丢弃。
2. 网卡通过DMA将数据写入内存地址；内存地址和初始化由驱动分配。
3. 网卡向CPU发送中断请求，通知数据已到达。
4. CPU根据中断向量表调用中断处理函数，该函数会调用驱动中对应函数。
5. 驱动首先禁用中断功能，标识驱动已知数据在内存中，并告知网卡收到下个数据包直接写入内存，无需再次中断通知CPU，无需频繁中断CPU而降低效率。
6. 启动软中断。硬中断处理函数执行间不可被中断，若执行时间太长则影响CPU无法响应其他硬件中断。
 

 

RingBuffer 参考

默认大小：通常，网卡驱动程序的默认环形缓冲区大小为 256 至 1024 个描述符。

 

• NIC收到数据报文产生的IRQ只能被一个CPU处理，从而只有一个CPU会执行软中断处理函数；即一个RingBuffer上同一个时刻只有一个CPU在读取数据。

• 硬件解决方案：网卡内部支持多RingBuffer，NIC收到数据通过Hash到某RingBuffer。触发的IRQ可通过系统或手动配置IRQ Affinity指定CPU。

• 软件解决方案：Receive Packet Steering和Receive Flow Steering配合使用；NIC收到数据DMA将数据存入还是一个RingBuffer，NIC触发IRQ通知到一个CPU，该CPU通过驱动poll将数据读取。RPS是在单个CPU 将数据从Ring Buffer读取后生效，为每个Packet 计算Hash并发到对应CPU的backlog中，并通过 Inter-processor Interrupt(IPI) 告知目标 CPU 来处理 backlog。后续 Packet 的处理流程就由这个目标 CPU 来完成。从而实现将负载分到多个 CPU 的目的。

数据链路层

 

实际传输帧数据多8个字节，前导码和SFD。它们的作用非常关键。

前导码：在数据传输过程中，发送端和接收端的时钟可能存在微小差异。前导码通过交替的1和0信号，使接收端的适配器能够调整并同步其时钟，以便准确接收后续的比特流。（位同步)

标识帧的开始：帧开始定界符的最后两位告诉接收端，帧的正式数据即将到来，准备好接收。

• 前导码：7字节，用于同步发送方和接收方的时钟信号。

• 起始帧定界符（SFD）：1字节，表示帧的开始。

• 目标MAC地址：6字节，指示帧的目标设备。

• 源MAC地址：6字节，指示帧的发送设备。

• 类型/长度：2字节，表示帧中数据部分的协议类型或长度（如IP、ARP等）。值小于0x0600表示长度，否则表示类型。

• 数据：46至1500字节，承载实际传输的数据，最小46字节，最大1500字节。

• 帧校验序列（FCS）：4字节，用于错误检测（通常使用循环冗余校验CRC）。

 

1. 操作系统中专门处理软中断进程——ksoftirqd。当ksoftirqd接收到软中断时，它会调用相应的软中断处理函数。第6步中由网卡驱动模块触发的软中断，ksoftirqd会调用网络模块中的net_rx_action函数。

2. net_rx_action函数会调用网卡驱动中的poll函数，逐个处理数据包。

3. 在poll函数中，驱动程序会逐个读取网卡写入内存的数据包，该数据包的格式只有驱动程序知道。

4. 驱动程序将内存中的数据包转换为内核网络模块可识别的skb格式，并调用napi_gro_receive函数。

5. napi_gro_receive函数会处理与gro相关内容，包括合并可合并的数据包，然后检查RPS是否启用，若启用则调用enqueue_to_backlog函数。

6. 在enqueue_to_backlog函数中，将数据包放入CPU的softnet_data结构体的input_pkt_queue队列中，然后返回。如果队列已满，则会丢弃该数据包。

7. CPU在自身的软中断上下文中处理input_pkt_queue队列中的网络数据（调用__netif_receive_skb_core函数）。

8. 若未启用RPS，napi_gro_receive函数会直接调用__netif_receive_skb_core函数。

9. 检查是否存在AF_PACKET类型的套接字，若存在则将数据包复制给该套接字。(tcpdump)

10. 调用相应的协议栈函数，将数据包交给协议栈处理。

11. 在内存中所有数据包处理完成后（即poll函数执行完成），启用网卡的硬中断，这样当网卡接收到下一批数据时，将会通知CPU。

网络层

• 路由选择 (Routing): 静态路由和动态路由（BGP)。目标是选择最优路径将数据包从源地址发送到目的地址。

• 逻辑寻址：IPv4 IPv6

• 分组转发：将数据包封装成数据包

IPv4 vs IPv6

 

 

 

 

指标	IPv4	IPv6
协议头长度	20B～60B	40B
Ver	0100	0110
IHL	15*4=60	ㅤ
TL & PL	2^16=64KB	2^16=64KB
表示方式	4组8位	8组16位
TTL & Hop	8=63	ㅤ
TOS & TC	服务类型	优先级
ㅤ	ㅤ	ㅤ

分片报共享Identification

分片报大小是8的整数倍

• Identification: 每个数据报在生命周期内都是唯一的，通常是通过一个递增的计数器来生成的。当主机发送一个新的IP数据报时，Identification 字段的值会从某个起始值（通常是0）开始，之后每发送一个数据报，这个字段的值会增加1。（16bit)

• Frag: 3bit-[0][0|1][0|1]; 第1位保留0；第2位=1（DF Do not fragment）；表示路由器不能对报文进行分片处理；第3位=1（MF，More fragment）多分片，除了最后一个分片的MF位设置为0外，其他所有分片的MF位均设置1，以便接收者直到收到MF位为0的分片为止。

• Fragmentation offset（分片偏移）：标识某个分片在分组中的位置. 

💡 TCP/UDP 分片报文，只有第1个分片存在TCP/UDP协议头。

💡分片报文的重组和分片都是耗CPU的，特别在高速转发网络；默认1500B

1. __netif_receive_skb_core 会调用 list_for_each_entry_rcu 函数；

2. deliver_skb 调用协议层注册的处理函数; arp_rcv() ip_rcv() ipv6_rcv()

3. 检查无效报文

4. 进入netfilter网络模块，PREROUTING钩子函数

1. 进入netfilter网络模块，FORWARD 钩子函数

数据链路层传送报文到网络层 网络协议栈框架

网络层主要对各种协议解析和处理

• 入口函数规则：protocolname_rcv
arp_rcv ip_rcv ipv6_rcv

• 结束函数规则：protocolname_rcv_finish
ip_rcv_finish arp_rcv_finish

---

支持路由，NAT，防火墙操作

• netfilter不对数据报复制

• netfilter实现中使用ip_conntrack结构记录连接状态。是一个协议无关状态。ip层协议维护ip_conntrack哈希表

 

iptables（netfileter) 四表五链

conntrack 通俗来讲是数据报路径上的一块记忆存储。

网络层转发数据报

重点: 泛哄查询mac地址

传输层

 

Protocol定义传输层协议

Protocol Number	Protocol Name
1	ICMP
6	TCP
17	UDP
41	ENCAP
47	GRE
58	ICMPv6

TCP

TCP的运行可划为三个阶段：

• 建立连接
connection establishment

• 数据传输
data transfer

• 连接终止
connection termination

Linux将TCP连接抽象为套接字(Socket)表示本地端点，给程序使用。在连接的生命周期内，要经历一系列的状态改变。

 

• 服务器端执行listen函数后建立两个队列
backlog参数定义
• SYN队列:存放完成二次握手结果
• ACCEPT队列:存放完成三次握手结果

• 三次握手建立连接，连接建立过程中初始化很多参数，比如序列号
1. 客户端向服务端发送一个SYN，该报携带客户端为这个连接而设定的随机数A作为消息序列号。
2. 服务器端收到一个合法的SYN包后，把该包放入SYN队列中；回送一个SYN/ACK。ACK的确认码应为A+1，SYN/ACK包本身携带一个随机产生的序号B。
3. 客户端收到SYN/ACK包后，发送一个ACK报，该包的序号被设定为A+1，而ACK的确认码则为B+1。然后客户端的connect函数成功返回。当服务器端收到这个ACK包的时候，把请求从SYN队列中移出，放至ACCEPT队列中。
 
 
 

维护中间状态消耗资源；

tcp_synack_retries减少重试次数；

tcp_max_syn_backlog增大SYN连接数；

tcp_abort_on_overflow决定超出能力时的行为；

TCP报文发送者称自己的字节流的编号为序号，称接收到对方的字节流编号为确认号

• 第1个报文序列号=1，应该是相对序号。实际值应该是（随机值+1）。随机值在建立连接过程中确定。
🤔第1个报文中确认报文 数据:0 bytes是一定的吗？存在大于0的情况？存在大于1460的情况？

• 第2、3、4、5报文并非接收一个就发送一个，而是在接收到一定数量的连续字节流后才发送确认

• 第5个报文，接收字节流存在不连续时，确认号从是缺失的序号（可靠的字节流传输）。

流量控制用来避免主机分组发送得过快而使接收方来不及完全收下，一般由接收方通告给发送方进行调控。

• TCP使用滑动窗口协议实现流量控制。接收方在“接收窗口”域指出还可接收的字节数量。发送方在没有新的确认包的情况下至多发送“接收窗口”允许的字节数量。接收方可以修改窗口值。

• 当窗口值等于0，发送方停止进一步发送数据，发送方无法发出数据直至收到接收方修改窗口的指示。

• 若TCP的数据包中发送很少字节，相对于TCP包头是很大的开销。即吞吐量低。解决这个问题，就要避免对小的window size做出响应，直到有足够大的window size再响应。

拥塞控制是发送方根据网络的承载情况控制分组的发送量，以获取高性能又能避免拥塞崩溃(下降几个数量级)

1. 设置分隔符

2. 固定消息头+变长消息体（固定消息头存储长度信息）（比较适合自定义协议）

3. 固定消息长度(不推荐）

终止连接

• 连接终止使用了四路握手过程，每一侧都独立地被终止。

• 当一个端点要停止它这一侧的连接，就向对侧发送FIN，对侧回复ACK表示确认。

• 主动发起关闭即可以是客户端也可以是服务端，一般都是客户端主动发起

 

1. tcp_v4_rcv(tcp_v6_rcv)接受网络层传递的数据，确认连接已连接

2. 处理建立连接过程中的状态机

3. 内核处理数据报文

4. 发送报文

5. tcp_rcv_established 处理数据

6. 快路径 直接将数据包送到用户态

7. 保存数据到接受队列

8. tcp_recvmsg 接收到完整数据

9. TODO

10. TODO

11. TODO

12. sock_recvmsg

UDP

1. __udp4_lib_lookup_skb 根据ip:port找对应socket。未找到则丢包。

2. 将数据包放入队列，队列满则丢包；

3. 命中过滤规则则丢包

4. 放到队列尾

5. 数据已经准备好等待应用层调用

1. 若长度小于真实数据包长度，则导致读取不完整。UDP数据包理想长度小于MTU（1500-20(IP)-8(UDP)=1472)，保守些(<1472)。

2. 若长度大于真实数据包长度，则取最小长度读取数据。

https://www.chromium.org/quic/

 

应用层

HTTPS

1. TCP 三次握手建立通信连接

2. 客户端（浏览器）： 发送 Client Hello 消息

客户端支持的TLS版本：TLS1.2

客户端随机值(Client Random)

客户端会话标识

支持的加密套件集合

 

1. 服务端 发送 Server Hello 消息

服务端支持的TLS版本：TLS1.2

服务端随机值(Server Random)

服务端会话标识与客户端一致

服务端选择本次会话的加密算法

 

 

1. 服务端 发送发送证书

证书存储 公钥 信息

如何验证证书的有效性？X.509

证书链：根证书→二级证书→三级证书→…

证书主要用于识别身份，保护数据传输安全。证书是个好东西，就是贵！！

 

 

 

1. 服务侧发送 密钥参数

 

1. 客户端发送 密钥参数

1. 客户端发送 改成对称加密

 

1. 服务端发送验证

 

HTTP2

• 二进制协议帧（固定长度9字节)
1. 24bit长度，理论最大长度16MB，实际大小限制16KB（可修改)
2. 8bit类型，决定帧类型
3. 1bit预留，总是0
4. 31bit 流标识，http2流标识

• 多路复用
1. “数据”可以在多条流上跑

• 头部压缩 HPack
• 参考这边文章

 

http2srv.zip

4.8KB

 

 

 

 

 

eBPF/XDP

eBPF在内核运行主要由5个模块组成：

1. eBPF辅助函数

2. eBPF验证器

3. 寄存器、程序计数器 512字节栈

4. JIT(Just in Time) 即时编译器

5. MAP 存储

 

背景

1. 1992年的 USENIX 会议上，The BSD Packet Filter: A New Architecture for User-level Packet Capture ，第一次提到 BSD Packet Filter （简称BPF）这个概念，这篇论文带来了一个革命性技术。正如其名称他是包过滤相关的技术，其基本原理是用户态定义 BPF 字节码来定义过滤表达式，然后传递给内核，再由虚拟机解释运行。（tcpdump)

2. 2013年，研究新的SDN方案，Alexei Starovoitov 为 BPF 做了一次革命性的更新，将 BPF 扩展为一个通用的虚拟机，也就是eBPF (extended Berkeley Packet Filter)。eBPF 不仅扩展了寄存器的数量，还在 4.x 内核中将原本单一的数据包过滤事件逐步动态扩展到内核态函数、用户态函数、跟踪点、性能事件（perf_events）以及安全控制领域。

挂载点(AF_XDP)

操作	含义
XDP_PASS	通过，进入网络栈
XDP_DROP	拒绝，丢包
XDP_TX	转发，本设备
XDP_REDIRECT	转发，另设备

工作流

1. 编写C程序代码(bpf)

2. 通过CLang编译成字节码

3. 通过bpf()系统调用

4. 验证器检查（大小、循环等检查)

5. 通过JIT翻译字节码到机器指令

6. 通过ip,tc,bpftool挂载设备

 

 

 

XDP, eXpress Data Path, is a high-performance networking technology in the Linux kernel that allows for fast and efficient packet processing at the earliest stage of the networking stack. It operates within the kernel space and provides a programmable interface for handling incoming packets directly on the network interface card (NIC), bypassing much of the traditional networking stack.

eBFP/XDP DDoS

1. udp 10.10.2.6 4000 10.10.2.4 3389 b=001&001&001&001&111&111=001 ✅

2. udp 10.10.2.6 4000 10.10.2.4 3389 b=001&001&001&001&111&111=001 ✅

3. udp 10.10.2.6 4001 10.10.2.4 3389 b=001&001&000&111&001&111=000 ❌

4. tcp 10.10.2.5 4001 10.10.2.4 3 81 b=110&110&110&000&111&111=000 ❌

eBPF/XDP Forward

• BPF_MAP_TYPE_LRU_HASH

• sip uint32 源IP IPv4

• dip uint32 目的IP IPv4

• smac uint64 转发源Mac

• dmac uint64 转发目Mac

• iface uint32 从哪个设备发包

SDN

IPSec

BGP

UCX

GitHub - openucx/ucx: Unified Communication X (mailing list - https://elist.ornl.gov/mailman/listinfo/ucx-group)

Unified Communication X (mailing list - https://elist.ornl.gov/mailman/listinfo/ucx-group) - openucx/ucx

https://github.com/openucx/ucx#architecture