大学生的 AI 通识课⑭|注意力机制与 Transformer:改变一切的那篇论文
来源:市场资讯(来源:图灵人工智能)转自Eureka Moments,仅用于学术分享,如有侵权留言删除报道上一篇《循环神经网络(RNN):让机器拥有“记忆”》讲清了机器怎样像接力赛一样,把“记忆”一个字一个字地传下去。
ChatGPT 的底层,到底是怎么"读懂"一句话的?一篇讲透 Transformer
先做一道小学英语题。"The keys to the cabinet near the door ____"(钥匙放在门边的柜子里),空格里该填 is 还是 are?答案是 are。主语是 keys(复数),哪怕离空格最近的 cabinet 和 door 都是单数。
Transformer是什么?为什么它能成为大模型的核心架构?
现在我们使用的ChatGPT、DeepSeek、通义千问、豆包等大语言模型,背后都有一个非常重要的技术基础:Transformer。很多人知道大模型参数量有几十亿、几百亿,知道模型需要GPU才能运行,但不一定了解一个问题:大模型究竟是如何理解一句话的?
图解 BERT 和 Transformer,一次讲清楚它俩到底什么关系
想必不少小伙伴面试过程中,会遇到这道题,「说说 BERT 和 Transformer 的区别」。还别说,这问题真挺常问的。前几天有读者私信我说,面试官问了这题,他答了「BERT 用了 Transformer 的架构」,面试官追问「具体用了哪部分,为什么只用那部分」,他就卡住了。
Qwen和Seedance背后,站着同一个人
有这么一个人,他姓周,入职过阿里,和林俊旸有渊源,做的产品这两天还特别火。现如今,Qwen系列在全球最大的开源AI模型社区Hugging Face上,其衍生模型数量突破20万个,累计下载量超过10亿次,是全球下载量最大的开源大模型系列。
固态变压器:下一代数据中心的配电架构
本资料来自 IEEE PELS 与 Fraunhofer ISIT 联合出品的专业演讲,系统介绍了面向下一代数据中心的固态变压器配电架构与发展路线,重点讲解了 SST 在减少转换级数、提升供电效率及集成直流备份与储能方面的核心作用。