★ 2
无线网络联邦低秩LLM自适应蒸馏
论文提出FLoKD框架，用于无线网络环境下联邦LoRA微调LLM，通过传输中间LoRA激活而非logits或全参数作为蒸馏信号。方法引入Transformer块重要性评分与数据集选择策略，在WikiText-103等数据集上将通信开销降低50-65%，同时快速收敛至有竞争力的困惑度。
arXiv cs.AI48 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出FLoKD框架，用于无线网络环境下联邦LoRA微调LLM，通过传输中间LoRA激活而非logits或全参数作为蒸馏信号。方法引入Transformer块重要性评分与数据集选择策略，在WikiText-103等数据集上将通信开销降低50-65%，同时快速收敛至有竞争力的困惑度。