缓存命中率能做到 90%,为什么团队的 Token 消耗还是降不下来?
“本文是模力方舟关于企业 Token 治理系列的第十二篇。TL;DR:大模型的前缀缓存能把重复输入的成本降低九成,成熟工具的命中率也能做到 90% 左右。但很多团队接入后,实际账单并没有下降。
提示词工程(四):为什么改 prompt 比换模型更划算?
上一篇 LLM 开发(三):用 LangChain 写一个工业级示例[1] 里,prompt 只是几个字符串常量,存在 TRIAGE_PROMPT 里,看起来最不起眼。
雪藏背后:Anthropic的技术、商业与伦理困境
来源:锦缎一向自诩为“道德标杆”的Anthropic,上周发布其最新模型Claude Mythos Preview后,罕见地宣布不向公众开放,理由是该模型的网络攻击能力已构成“前所未有的网络安全风险”。一个AI公司主动雪藏自己的产品,这本身就是一个信号。
雪藏背后:Anthropic的技术、商业与伦理困境
本文想从四个角度来梳理这件事:模型能力的真实跃升。最终我们看到,技术狂飙与商业反噬之间的张力,远比表面看起来复杂。
深入解析KV Cache,以及怎么让你的 Agent 更省钱?
比如 Anthropic 的 Claude Prompt Caching 文档中,cache read tokens 按基础输入 token 价格的 0.1 倍计费;
雪藏背后:Anthropic的技术、商业与伦理困境
本文想从四个角度来梳理这件事:模型能力的真实跃升。最终我们看到,技术狂飙与商业反噬之间的张力,远比表面看起来复杂。
5分钟缓存清零,性能打1折,集体声讨Claude,CC之父紧急回应
关闭它,Anthropic就把缓存从1小时砍到5分钟,隐私让你多付12倍性能代价…开发者们发现,只要在环境变量里加一句DISABLE_TELEMETRY=1,Claude Code的prompt cache TTL就从1小时瞬间回退到5分钟。
5分钟缓存清零,性能打1折!集体声讨Claude,CC之父紧急回应
来源:新智元新智元报道 编辑:KingHZ【新智元导读】从「缓存蒸发」到「12倍成本爆炸」,Claude智商一降再降。Anthropic辩解「不是惩罚是架构耦合」,但数据不会说谎:2月高效缓存让用户爽翻,3月静默回退后人人喊贵。这场隐私与性能的拉锯战,只有用户是真正的输家?