10.25 RDMA安全问题

ZETA 架构：依靠加密原语保证数据包安全

1. 策略管理器（Policy Manager and Agent）
2. RMDA追踪器
3. Access Control Unit
   1. 慢路径：
      • 新会话请求响应以及安全验证
      • 身份表（RDMA Tracer提供）
      • 策略表：
   2. 快路径：
      • Offload Thread将慢路径流量移动到快路径
      • Cleaner Thread
        实验测试部分：测试对延迟的影响

讲述重点：背景和动机部分、横向对比类似研究方向论文

# 11.29 大语言模型优化

• 大语言模型将每次生成的token加入原KV cache中用于生成下一个token。这引入了两个延迟，生成第一个Token的时间TTFT和后面每个Token的时间TPOT。
  

• 不同应用有不同的时延需求（Chat、Search、Program）
  

# 论文目标

使用最少的GPU提供尽可能多的服务并满足不同延迟需求

• 服务标准SLO（Service Level Objective）
• 达到SLO的百分比（性能指标）
• 每个GPU的有效输出（符合SLO的输出）
  现有解决方案：将prefill阶段和decoding阶段放在一起进行，使GPU尽可能忙碌，而不是关注时延
  Problem

1. 由于GPU并行，prefill与decoding相互干扰，批处理二者延迟变高
2. 共享并行策略，但两个阶段训练瓶颈不同，会拉平至最差瓶颈（prefill主要消耗计算资源，decoding主要是读取写入的迭代，即内存资源瓶颈）

# 论文提出的方法：将两个阶段分到不同的GPU上

• 避免相互干扰的问题（Problem 1）
• 可以进行针对性优化（Problem 2）

# 带来的新问题

• KV Cache的GPU间传输问题（网络传输）
• 不同优化目标带来的复杂优化策略

# 相关的华为提出的难题：PD离场景下的网络传输问题

• PD节点的通信的随机性，导致交换机拥塞
• D节点同时收到很多P的KV Cache，可能突发拥塞
• 涉及到异构网卡的通信

# Meta分布式训练集群

# AI训练拓扑

• CCL：通用集合库Collective Communication Library
  
  
  

# 负载均衡

# 拥塞控制

不用DCQCN，只用PFC，构建一套主动拥塞控制。（因为400GB的network时使用DCQCN反而更坏了）

# 12.13RPC请求卸载到网卡上

# Motivation

编排：负载均衡、调度、核心分配
现在服务器内部编排方式：使用软件运行在单独内核上进行编排，解决基于内核的尾延迟不可预测，提高了表现性能；但问题是浪费核心、扩展性差。
现代网卡提供三个特点：

• 集中式：所有网络请求均通过网卡
• 可拓展性：NIC加速单元可编程，实现硬件级任务
• 最小化主机CPU负载

# Challenges

如何分工、如何协同、如何设计

# Design

# 主机和网卡之间的分工

1. 所有编排任务都卸载到网卡上 --> 存在PCIe延迟 --> 针对每个核心分配缓冲区 --> 引入对头阻塞问题
2. 将一部分调度功能加载到主机上：使用长度短的优先级队列

# 软件调度和NIC负载均衡之间的协同

1. JBSQ：将请求分配到长度最短的队列 --> 忽视了软件调度行为
2. JBSRQ：计算一个rank，选择rank最低的队列
   

# NIC上调度器和负载均衡器的设计

# 调度器

优先级队列

# 负载均衡器

1. 服务位掩码
2. rank计算器
3. 归约树找最小rank

# 资格掩码Eligibility Mask

至少对应着存在一个队列不满的服务的请求设为1，否则为0

# Implementation实现部分

# Thinking

# 12.20周会论文分享

网络安全相关……网站指纹攻击 ？？？听不太懂

# 问题陈述

#