★ 3
闪存内计算实现LLM推理
论文针对LLM推理中内存带宽瓶颈，设计可在Flash存内计算设备上运行的推理算法。采用端到端整数量化消除浮点运算，并基于稀疏字典编码压缩KV缓存以应对写入寿命限制。在Llama-3.1-8B和Qwen-2.5-7B上，动态KV缓存流量降低15倍且精度损失有限。
arXiv cs.LG47 天前
#存内计算
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
类脑概率存内计算硬件：用噪声实现贝叶斯推理与学习
该论文提出一个生物学启发的框架，将神经与突触的噪声动态视为从内部能量函数进行随机采样，从而完成推理与学习，并分别用神经与突触变异性刻画潜状态与模型参数的不确定性。作者类比生物内禀噪声与新兴概率模拟存储器的电噪声，指出模拟存内计算硬件是实现大规模、高能效概率推理的自然方案。
arXiv cs.AI51 天前