Context Parallelism（上下文并行）

Context Parallelism针对Transformer等模型处理长序列时显存不足的问题，将输入序列沿长度维度分割，各设备计算局部注意力并通信汇总。与数据并行、模型并行互补，能有效扩展上下文窗口，但需处理跨设备注意力计算和通信开销，常用于训练超长文本模型。