开云体育
计算机:De开云体育官方epSeek V32加速国产AI软硬件生态闭环
DeepSeek-V3.2-Exp引入新注意力机制,性能近稳、成本降超一半
9月29日,深度求索发布DeepSeek-V3.2-Exp模型,这是一个实验性的版本。作为迈向新一代架构的中间步骤,V3.2-Exp在V3.1-Terminus的基础上引入了DeepSeek Sparse Attention(DSA),DSA首次实现了细粒度稀疏注意力机制,在几乎不影响模型输出效果的前提下,实现了长文本训练和推理效率的大幅提升。
得益于新模型服务成本的大幅降低,官方API价格下调50%以上。具体来看,原先百万tokens输入为0.5元(缓存命中)、4元(缓存未命中);输出12元,下调至0.2元(缓存命中)、2元(缓存未命中);输出3元。
寒武纪、昇腾day0实现对DS V3.2Exp的适配,打开国产AI软硬件协同新篇章
DS开源TileLang&CUDA算子。在新模型的研究过程中,需要设计和实现很多新的GPU算子。DS使用高级语言TileLang进行快速原型开发,以支持更深入的探索。在最后阶段,以TileLang作为精度基线,逐步使用底层语言实现更高效的版本。
寒武纪已同步实现对DeepSeek-V3.2-Exp的适配,并开源大模型推理引擎vLLM-MLU源代码。针对本次的DeepSeek-V3.2-Exp新模型架构,寒武纪通过Triton算子开发实现了快速适配,利用BangC融合算子开发实现了极致性能优化,并基于计算与通信的并行策略,再次达成了业界领先的计算效率水平。
昇腾凭借敏捷协同优化能力,0Day高效完成DeepSeek-V3.2-Exp适配,不仅深度开放自研编程语言AscendC及PyTorch算子源码,也积极拥抱开源生态,同步实现vLLM、SGLang等主流框架的快速支持并携手开源社区Tile-AI共同开源NPU编程项目TileLang-Ascend。
AI软硬件协同有望优化大模型部署性能、降低部署成本,而成本降低是加速应用渗透的重要条件。上海交通大学长聘教轨副教授、无问芯穹首席科学家戴国浩年初表示,DeepSeek的极致性价比来自于两大类优化,一是了解硬件细节,实现极致的底层优化;二是打通软件硬件,实现联合协同优化。这两者在DS V3.1-V3.2得到了充分显现:1)DS V3.1为下一代国产芯片设计UE8M0FP8,优化芯片底层能力,助力国产芯片加速追赶;2)此次国产芯片积极适配DS V3.2,AI软硬件协同优化有望使得大模型在利用国产算力时达到甚至超越英伟达GPU的性能,亦有望推动AI应用降本加速落地。
1)AI Agent:鼎捷数智、视源股份、泛微网络、致远互联、金蝶国际、用友网络、汉得信息、赛意信息、迈富时、光云科技、税友股份、润达医疗、同花顺、恒生电子、金山办公、万兴科技、福昕软件、科大讯飞、金桥信息、卓易信息、普元软件等;
2)国产算力:寒武纪、云天励飞、亿都(国际控股)、浪潮信息、曙光数创、超讯通信、华丰科技、神州数码、软通动力、烽火通信、广电运通、拓维信息、四川长虹、润建股份、数据港、润泽科技、光环新网、科华数据、光环新网、奥飞数据等;
3)海外算力:新易盛、中际旭创、天孚通信、长光华芯、长芯博创、源杰科技、华工科技、光迅科技、太辰光、仕佳光子、胜宏科技、景旺电子、沪电股份、生益电子、深南电路、东山精密、兴森科技、工业富联、英维克、高澜股份、申菱环境、巨化股份、川环科技、同飞股份、飞荣达、鸿腾精密、麦格米特、欧陆通、禾望电器、盛弘股份、杰华特、紫光股份、锐捷网络、中兴通讯、菲菱科思等。