280B总参数、14B激活!百度开源文心5.5 Flash Base,拿下同尺寸SOTA
智东西11月5日报道,今日,百度正式发布并开源文心5.5 Flash Base。在同尺寸基座模型的正面交锋中,它交出了一份颇具竞争力的成绩单。
百度文心开源发布ERNIE 5.5 Flash Base高效基座模型,总参数280B
IT之家 11 月 5 日消息,百度文心大模型今日发布 ERNIE-5.5-Flash-Base,开放 ERNIE 5.5 Flash 预训练终点的权重。这是一个稀疏 MoE 语言模型,总参数 280B,每 token 激活 14B,在 33.
英伟达养大的 AI,回头帮对手搬代码
上期结尾留了句话,说下期聊软件那一关,CUDA 从 2006 年攒到今天整整二十年,别人要补多久。这期的答案可能让英伟达不太舒服,用不了二十年。CUDA 还是那个 CUDA,装机量、库、调优经验都摆在那儿,短期没人能正面掀桌。
GitHub 47.9K Star!本地部署大模型,终于不只是拼显存了
以前想在本地运行一个超大规模 MoE 模型,最先遇到的问题通常不是模型怎么下载,而是:显卡显存根本装不下。比如一个拥有数百 B 参数的模型,权重文件可能达到数百 GB。普通电脑即使有一张独立显卡,也很难把整个模型都放进显存。但最近发现一个挺有意思的开源项目:Colibri。
RAG这次真死了!SAG2才是本地知识库的神,又快又准又便宜~
SAG2 在 51 万份企业文档上建库 8 分 32 秒,Recall@10 达 81.10%,比 HippoRAG 2 高 15.55 个百分点,体积只有 10 几 MB。
4大顶尖模型被扔进虚拟小镇求生,GPT全员饿死,Grok四天灭世
一群顶级研究员搭了座高度拟真的虚拟小镇,把Claude、GPT、Gemini和Grok一股脑全扔了进去。
FlashSpec 实现推测解码实践 ,以及过程中踩过的坑
推测解码(Speculative Decoding)是目前比较热门的一个LLM加速方式,今天这篇文章是FlashSpec 的作者讲解如何构建一个自适应 LLM 推理引擎推测解码可以在不改变最终输出分布的前提下加快大语言模型推理。
谁是DeepSeek V4 Flash最佳搭档
IT之家 8 月 7 日消息,Composio 昨日(8 月 6 日)在 X 平台发布推文,使用 30 项任务测试 4 个 AI 编程智能体框架,观察哪个框架更能发挥 DeepSeek V4 Flash 正式版性能。
刚刚,百度开源全新预训练基模,还是主打效率的Flash
11 月 5 日,百度文心系列正式发布新一代基座模型文心 5.5 Flash Base,并开放了权重。这次发布的是一个稀疏 MoE 语言模型,总参数量 280B,每 token 激活 14B,其在 33.5T tokens 上从零完成预训练,最长的训练上下文为 128K,微调与推理阶段外扩到 1M tokens 的长上下文。