从零手搓 mini-sglang:Datawhale 这门课把推理引擎拆开讲
Datawhale 联合 SGLang 团队创立的 RadixArk 推出的开源课程,先把 KV Cache、prefill/decode、compute-bound 与 memory-bound 这些推理核心概念讲透,再带你从零写出一个 mini-sglang,最后回到真实 S
BM1688 模型移植实操步骤(视觉 / LLM 两路)
BM1688 模型移植实操步骤(视觉 / LLM 两路)整体流程一句话:训练框架导出 → TPU-MLIR 转 MLIR → 量化(可选)→ model_deploy 出 bmodel → 板上推理验证。
从单帧到并发流水线:DeploySharp 批量与视频推理实战
DeploySharp 批量与视频推理:连续帧进入有界队列,由多个独立 Session 处理,再按源顺序返回 一、DeploySharp 项目简介 DeploySharp 是面向 C#/.NET 应用的模型部署工具,提供统一的模型加载、输入配置、后端调用和结果解码接口。
PDF和Word最终走同一套ML阶段——Docling的格式
Docling 支持从 PDF 到 EBCDIC 共 34 种格式,但它的 ML 标注代码只写了一次。
工程能力一键复用,专心卷新能力|详解FluxVLA Engine技术报告
老O家还是有实力,抢先一步跟全世界证明,AI的通用能力足够惊艳,且远远没到头。近期,逐际动力更新了其开源工程底座FluxVLA Engine的第二版技术报告。
ModelY高性能版提车潮,首批车主点赞,AMG 车主开电车感叹超预期
据海外博主分享,不久前上市的Model Y高性能版已在中国市场陆续开启交付。国内社交平台上,已有不少首批Model Y高性能版车主晒出提车美照分享喜悦,“帅炸了”成为评价中高频出现的关键词:“喜提常州首台银色Model Y高性能版,上市当天果断下定,碳纤维尾翼一眼沦陷,帅炸!
评点茹炳晟文章中的一段话(01)关于设计模式
本文要评点的以下这段话,来自茹炳晟老师的文章《从未实现“工程化”的软件工程(写在《AI 时代人月神话》出版之前)》,https://mp.weixin.qq.com/s/S1a_IH-IfYsoF2cHGFgGqw。
2万Star!Mac本地AI推理框架开源,RAM+SSD分层缓存省下大把内存
智猩猩AI整理 编辑: 没方 苹果刚刚发布的新款 Mac,把一个趋势推到了台前:Mac 正在变成越来越重要的本地 AI 计算平台。