Q9电玩官网

cn
cn en
Q9电玩(官网)最新官方安卓版/IOS版/手机版APP下载

存储前沿洞察①|大模型推理Token经济性发展诉求,推动AI系统存储分层系统创新

“以存强算、以存代算&rdq

起源:Q9电玩官网 2026-09-14

“以存强算、以存代算”

Q9电玩官网《前沿技术创新》专栏上线

9月15日,工业和信息化部、国度发展鼎新委印发《电子信息造作业发展“十五五”规划》,提出加快发展先进存力,推动“以存强算、以存代算”,完善分级分层数据存储架构,并突破智能分层存储、键值缓存等关键技术,研发有关新型存储产品。

萦绕AI时期前沿存储技术,聚焦存储架构、新型介质、接口和谈、主题芯片及产业化实际,Q9电玩官网《前沿技术创新》专栏正式上线。首期内容由公司副总经理、研发中心总经理兼CTO范云松撰稿。范云松深耕存储主控芯片研发20余年,曾持久任职于华为及华为海思,担任企业级SSD研发团队主题主管。本期将结合其技术研发与产业实际,萦绕AI推理时期的存储分层演进及新型存储机遇发展分享。

 

引言

Token经济性驱动AI基础设施沉构

存储成为推理效能关键

随着AI大模型从训练走向推理和规;,AI系统建设正经历从"以模型为中心"到“以Token经济性为主题”的逐步演变,萦绕Token经济性,AI基础设施已经起头全栈沉构,效能沉心也在产生变动。

随着大模型参数规模来到万亿级别,超长高低文、长程Agent和多工具挪用逐步成为新模型的沉要能力。行业衡量推理效能,也不再只看峰值算力,而是进一步关注首Token时延、Token天生速度、并发吞吐以及单元Token成本。

当推理竞争进一步落到速度、吞吐与成本上,数据若何承载,数据的缓存和分层也起头直接影响Token的产生效能,为存储产业发展带来新的机遇窗口。

 

01 

KV Cache增长

长程Agent和规;评

放大数据承载压力

大模型高低文规模的发展,大体经历了从“单页文本”到“整本书”,再到“百万级文档”的跃迁,其整体节拍并非匀速发展,23年到25年期间,头部模型的高低文窗口从约十万Token急剧扩大到千万Token级别,扩容幅度靠近两个数量级,增长曲线相当峻峭。

23年Anthropic的Claude模型实现了10万个Token高低文。24年Google Gemini 1.5 Pro支持100万个Token。25年Meta颁发推出LLAMA 4 Scout,其高低文窗口达到了创纪录的1000万个。26年8月正式颁布的DeepSeek V4-Pro,进一步将百万Token高低文能力作为标配。

以传统70B级Transformer/GQA模型为例,天生过程中每个汗青Token的Key和Value城市按层保留在KV Cache里,所以高低文越长,KV Cache根基按Token数量线性增长,128K高低文约需40GB KV Cache,1M Token则靠近300GB。超长高低文对内存容量的需要大大提高。

Q9电玩(官网)最新官方安卓版/IOS版/手机版APP下载

图片起源:CSDN《大模型名词精讲19:KV Cache》

 

大模型的演进,当前同时还在经历从超长高低文进一步走向长程Agent和规;评淼募本绶⒄。Kimi K3、Qwen3.8-Max强调长程工作的自主规划、持续执行与关环迭代,GLM-5.3也将长程工作作为沉要方向。

以新颁布的Kimi K3为例,选取3:1的KDA线性把稳力与Gated MLA混合架构,专门针对Prefix Cache进行推理优化,以降低百万Token长高低文的推算与缓存开销。但AI Coding场景等长程工作,进一步拉长了数据性命周期。相比传统“一问一答”,Agentic Coding场景必要在职务规划、模型推理、工具挪用、了局返回和持续执行之间反复循环,高低文、中央了局缓和存数据必要在更长功夫内维持可接见,对大容量内存以及闪存的需要将持续维持高位。

 

Ø 大模型推理的发展趋向

Agent推理代表着大模型推理的发展趋向,出现出如下特点:高并发、长高低文、长程工作、强Cache依赖、成本敏感。行业也起头通过度层缓存和KV Cache卸载,将高低文、中央了局、缓存数据从HBM显存转移到更大容量的二层和三层存储层级。

 

02

传统AI系统

HBM/DRAM存储分层系统

面对三沉挑战

当前AI推理的数据重要由HBM、DRAM和NAND分层承载,随着KV Cache持续增长,AI推理起头面对三个问题:

Q9电玩(官网)最新官方安卓版/IOS版/手机版APP下载

Ø 问题1:容量墙

HBM带宽高但容量有限,DRAM的单Die容量提升也已靠近极限,HBM/DRAM的扩容受系统功耗和空间的约束,规划相对复杂,在显存/内存容量相对有限的情况下,系统只有降低并发或缩短高低文以保险Token的产生效能,由此将就义吞吐效能与模型履历。

Ø 问题2:成本墙

内存整体供给当前处于严重局面,供需失衡导致HBM和大容量DRAM采购成本持续维持高位,而大模型的迭代发展和推理当用的宽泛遍及,内存容量需要持续增长,导致AI数据中心大模型推理的部署成本持续推高。

Ø 问题3:悠久化问题

HBM和DRAM均为易失性存储,断电或故障后数据无法保留,超长高低文和长程工作等复杂利用场景下,KV Cache必要选取悠久化存储,以预防失效后沉新推算,目前通常选取SSD作为KV cache 卸载的分层存储,但SSD的磨损寿命和幼IO的传输机能存在瓶颈。

Ø AI推理当用必要一个两全容量、时延、成本与悠久化的新层级

DRAM容量与成本受限,而选取NAND介质的 SSD虽具备容量和成本优势,但时延上显著高于内存,磨损寿命也存在差距,二者之间存在新的数据承载空档。 

Q9电玩(官网)最新官方安卓版/IOS版/手机版APP下载

AI推理当用必要一个两全容量、时延、成本与悠久化的新层级。

 

03

AI系统存储系统新层级涌现

伴随KV Cache的不休膨胀与HBM/DRAM的容量和成本瓶颈,催生出新的存储层级G2.5层和G3.5层。

Ø G2.5层

G2.5层选取内存语义,主题思路是通过CXL互换机构建一个解耦的、软件可编排的内存池,在延长和容量之间获得平衡。以"近内存的低延长接见"与容量优势得到行业的宽泛关注。

基于CXL池化内存的硬件架构:通过CPU进行整体治理,物理链路通常选取PCIe Gen5/Gen6,通过CXL互换机进行扩大,设备侧通过CXL节造器接入内存介质或新型存储介质。CPU通过CXL.mem和谈以原生的Load/Store指令直接读写,对利用出现为统一、无分层的地址空间,无需页面换入换出。接见延长介于本地DDR与NVMe SSD之间,靠近DRAM水平,但容量和成本效益显著优于纯DRAM规划。

 

Ø G3.5层

G3.5层选取存储语义,主题思路是通过高速网络扩大,选取SSD对KV缓存进行悠久化存储。NVIDIA的CMX(Context Memory Storage)平台是这一架构的代表,其思路是将企业级 NVMe SSD组织为专用的KV缓存存储层,承接从HBM/DRAM表溢的高低文数据。通过CPU进行整体治理,选取以太网(Spectrum-X)提供RDMA网络,实现超节点内低延长、高带宽的缓存接见,采DPU(BlueField)治理NVMe SSD并卸载KV缓存。相比传统存储步骤,吞吐量与能效最高提升5倍, SSD单元容量成本显著低于GPU内存,合用于大容量持久高低文的存储。

Q9电玩(官网)最新官方安卓版/IOS版/手机版APP下载

Ø 两条蹊径的硬件架构

两条蹊径的硬件架构共同指向一个趋向:AI基础设施的存储分层在“变厚”,在GPU显存与传统存储之间,CXL内存语义蹊径组成了G2.5层,SSD存储语义蹊径则常被定位为G3.5 层;二者共同插入了一个由专用芯片(DPU/CXL 节造器)治理、由高速网络衔接、介质选择遵从于成本与延长平衡的新硬件层。

 

04

面向全新存储分层

Q9电玩官网持续完善AI基础设施解决规划能力

针对G2.5层存储,Q9电玩官网选择基于内存语义的技术路线,通过CXL扩大提供池化内存解决规划。

Ø 基于CXL的池化内存解决规划的优势

ü 原生接见

支持基于CXL.mem和谈的Load/Store原生接见。

ü 生态成熟

针对CXL的支持,Linux已经迭代了多个内核版本,具备出产系统部署前提。

ü 时延不变

基于CXL互换机和CXL设备节造器的设计,时延靠近本地DRAM。

ü 滑润扩大

支持内存容量和带宽的滑润扩大。

ü 内存池化

支持内存池化,解除"内存孤岛",优化TCO。

ü 多介质支持

CXL规划能够同时支持DDR与悠久化内存介质,支持业务弹性部署。

 

Ø CXL内存池化蹊径更适合热KV Cache场景

以上六点决定了CXL内存池化蹊径更适合对延长敏赣注必要频仍随机接见的热KV Cache场景。

Load/Store语义让上层利用无需批改编程模型即可使用扩大内存;Linux内核的成熟支持意味着可急剧对接现有云原生调度系统;靠近DRAM的时延可保险Token天生速度不出现断崖式降落;容量与带宽的滑润扩大则为多卡、多机、多租户共享内存池提供了工程可行性;

CXL池化把内存从单机解耦为共享资源池,按业求实时按需分配、提升整体内存利用率、从而在一致算力下削减总内存采购量,直接降低 CAPEX 与功耗 TCO;

而CXL.mem的内存语义不仅覆盖易失 DRAM,也原生支持悠久内存,可实现断电不丢数据,既解决内存容量墙,又补上本地SSD与 DRAM之间的机能断层。

萦绕这一方向,Q9电玩官网依附企业级存储主题芯片、固件算法和系统验证能力,推动CXL内存池化规划研发和部署。

 

从百万Token到长程Agent,AI推理在沉塑数据承载与分层方式,也为新型存储打开新的利用空间。Q9电玩官网将萦绕CXL内存池化技术路线,基于DDR和PCM新型存储介质的利用,持续推动主题芯片与产品化布局,为国产AI基础设施提供更具性价比的解决规划。

有关资讯
暂无有关资讯
有关产品
暂无有关产品
【网站地图】