★ 3
LinkedIn 将 LLM 标注器改为语义打分，吞吐提升 1.9 倍
LinkedIn 提出端到端方案，将 LLM 标注器从生成式 YES/NO 列表改为语义打分，在单候选提示上微调，用一次 prefill 的答案 token 分数给出决策。作者改造多项打分（MIS）以在一条序列中为数百候选打分并屏蔽相互注意力。上线于个人资料资格标注后，候选重排仅改变至多 0.01…
arXiv cs.LG5 天前
#SGLang
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
SGLang：面向LLM与多模态模型的高性能推理框架
LMSYS 托管的开源推理框架 SGLang 支持大语言、视觉语言与扩散模型，针对智能体负载、大规模服务与强化学习 rollout 优化，内置图像视频生成引擎 SGLang Diffusion，支持多种 GPU、TPU、NPU 与 Apple Silicon 平台。
Hacker News – LLM17 天前
★ 2
Corbenic AI 开源 Galahad：为 AI 提供 5000 万 token 长期记忆层
Corbenic AI 发布开源项目 Galahad，定位为 AI 的记忆层，可缓存模型对文本的读取结果，避免 GPU 重复处理同一文本，并支持按问题定位文档相关片段。Galahad 采用 C++ 核心，可运行于 llama.cpp、vLLM 和 SGLang，已在 10 个家族 30 个开源模型…
Hacker News – AI22 天前