上下文又快满了：Headroom 在送进模型前，把日志和工具输出压一遍
Agent 跑久了，上下文里塞满 JSON、日志、检索片段和文件内容，真正有用的那几句被稀释。Headroom 在这些内容到达模型之前做一次按类型的压缩，原文留在本机、随时可取回。它能当库、当代理、当 CLI 包裹层、也能当 MCP 服务器，不改业务代码就能接上。
Reasonix 越用越慢？别慌，这四个原因和解决对策你该知道
如果你是深度使用 Reasonix 的开发者，很可能遇到过这样的场景：刚开始使用时，响应快得像闪电，几秒内就能完成代码生成或调试任务。
推理芯片系列文章四：一座 token 工厂是怎么运转的
上两篇把账算到了单位 token：一百万 token 多少钱，取决于全口径成本，也取决于有效交付。这一篇解释那个“有效”是怎么来的——同一批机器，为什么能跑出完全不同的产量。一块推理芯片不会自己生产 token。
推理芯片系列文章二：一个 token 是怎么被生产出来的
上一篇把训练芯片和推理芯片分开：一个负责把模型做出来，一个负责把模型用起来。分开只是第一步。推理这边的账，得从一个 token 算起。你看到的是聊天框里一个字一个字往外蹦。
Headroom 是怎么省上下文的
AI Agent 越来越像一个会不停调用工具的系统。真正把上下文打爆的，经常是后面一串 tool output：测试日志、grep 结果、API 返回、数据库 rows、长 diff。Headroom 这个仓库切的就是这块：在工具输出进入 LLM 之前，先做压缩和缓存稳定化。
从 34.81 秒降至 11.89 秒：Agent推理运行时完成新一轮性能验证
来源：环球网 随着企业AI从单次模型调用转向长期运行的Agent，推理基础设施的关注点也在变化：除GPU算力外，上下文能否持续保存、跨实例复用，并在Agent暂停和再次唤醒时低成本恢复，正越来越直接地影响实际运行效率。
扛住5000万次Agent调用！阿里等 14 位专家拆解 AI Infra 生产难题
9 月，DeepSeek 公开了一套名为 DSec 的生产级 Agent 沙箱平台。它不是新模型，却支撑着一个惊人的运行规模:单个规模单元约有 160 台 CPU 节点、3 万颗 CPU 核心和 250 TB 内存，单日服务约 300 万个沙箱，峰值并发超过 38 万，创建速度超过每秒 5000 个。
面试题详解：大模型模型加速攻略——KV Cache、量化、连续批处理
1. 先说结论：大模型加速不是单点优化，而是系统工程1.1 为什么大模型会慢？很多人一听“大模型加速”，第一反应就是换更强的 GPU，或者把模型量化成 4bit。这样想没有错，但只看到了冰山一角。