★ 3
开源课程 tiny-llm 教你从零实现 Apple Silicon 上的 LLM 推理
tiny-llm 是一门面向系统工程师的实战课程,基于 MLX 数组与扩展运行时,从矩阵运算、内核到 KV 缓存、批处理与请求调度,完整实现 Qwen3-4B 的推理路径。课程不调用高层神经网络层,要求学员用 Python、C++ 或 Metal 自行实现算子,四周学习路径已在 GitHub 与在…
Hacker News – LLM2 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
tiny-llm 是一门面向系统工程师的实战课程,基于 MLX 数组与扩展运行时,从矩阵运算、内核到 KV 缓存、批处理与请求调度,完整实现 Qwen3-4B 的推理路径。课程不调用高层神经网络层,要求学员用 Python、C++ 或 Metal 自行实现算子,四周学习路径已在 GitHub 与在…