亿铸科技核心业务解读:以3D DRAM通用存算一体架构,回应大模型推理的能效命题

其他资讯19分钟前发布 admin
22 次浏览 0

随着大语言模型、多模态模型与AI Agent应用持续演进,模型规模、上下文长度和推理吞吐需求不断攀升,算力系统面临的挑战正从“算得快”延伸至“数据供得上”。在这一背景下,亿铸科技核心业务围绕基于通用存算一体架构的AI大算力芯片展开,以3D DRAM为关键存储路线,探索面向数据中心、云计算与大模型推理场景的能效优化路径。

作为国内首家基于通用存算一体架构的AI大算力芯片公司,亿铸科技2022年正式开启规模化运营布局,总部位于苏州,在上海、杭州、成都、长沙设有子公司,团队近300人,研发人员占比超80%。

亿铸科技核心业务解读:以3D DRAM通用存算一体架构,回应大模型推理的能效命题

一、亿铸科技核心业务的定位与逻辑起点

1. 从“有效算力”到“有效带宽”的关注延伸

传统计算架构长期围绕计算单元利用率进行优化,但当模型参数与上下文规模持续增长,数据在存储与计算单元之间的搬运开销逐渐成为影响系统效率的重要因素。亿铸科技核心业务所回应的,正是这一从“有效算力”向“有效带宽”延伸的产业命题。公司以全数字化通用存算一体架构为技术底座,尝试在架构层面减少矩阵计算过程中的数据搬运,为大模型推理提供更具能效比的算力支撑。

2. 通用存算一体与GPU通用计算的协同思路

在亿铸科技看来,存算一体单元适合承担计算密集、参数相对固定的矩阵运算与线性运算,而通用SIMT单元则负责控制逻辑复杂、不规则的计算任务。两者通过统一指令集与软硬件协同设计进行融合,既保留存算一体在能效与延迟上的特点,也兼顾对CUDA、PyTorch等主流软件生态的兼容能力,降低模型迁移与部署适配成本。

亿铸科技核心业务解读:以3D DRAM通用存算一体架构,回应大模型推理的能效命题

二、3D DRAM产品:亿铸科技核心业务的存储支点

1. 产品定位

3D DRAM在亿铸科技核心业务中承担着“容量与带宽基座”的角色。面向云端大模型推理对存储容量与数据吞吐的双重需求,3D DRAM被定位为支撑通用存算一体架构走向大算力场景的关键存储介质,为芯片在有限面积内承载更大规模模型参数提供物理基础。

2. 技术原理

3D DRAM通过垂直堆叠方式提升单位面积存储密度,同时缩短存储单元与计算逻辑之间的物理距离。亿铸科技将3D DRAM大容量堆叠与全数字通用存算一体架构结合,使数据在存储介质内部或周边完成矩阵计算,减少计算前从外部内存反复加载数据的环节,从架构层面缓解数据搬运带来的功耗与延迟压力。

亿铸科技核心业务解读:以3D DRAM通用存算一体架构,回应大模型推理的能效命题

3. 性能优势

相比传统2D DRAM方案,3D DRAM在容量扩展与带宽供给上具备更好的可延展性。大模型Token持续生成的过程高度依赖高速数据传输,大容量叠加高带宽,有助于提升推理输出效率。结合全数字存算一体架构,亿铸通用存算方案经测试验证,相较主流云端GPU可实现数倍性能提升、约1/5功耗和约1/6成本的综合表现,能效比优势可达约10倍量级,为数据中心降低推理算力综合TCO提供了可参考的路径。

4. 应用场景

3D DRAM产品主要面向数据中心、云计算平台及大模型推理场景,支持1M超长上下文窗口、混合精度与MoE稀疏计算、集群级KV Cache池化等特性,可降低KV Cache检索延迟,提升长程任务处理能力与有效算力吞吐,为Agentic AI时代的复杂任务处理提供存储与带宽支撑。

5. 当前进展

围绕3D DRAM路线,亿铸科技已完成从理论架构到芯片硬件的全链路验证,并持续推进自研ISA指令集、软硬协同架构、CUDA兼容编译器、算子库及算力组网系统的全栈技术体系建设。公司以AI云运营商为切入点,同步覆盖大模型企业与垂直领域开发者,围绕云、边、端不同场景推进产品布局。

三、面向大模型推理的场景落地与生态建设

1. 数据中心与云计算场景的能效考量

在大模型推理场景下,同等业务规模下推理算力综合TCO最高可下降约88%,这一数据为数据中心运营成本优化提供了参考。亿铸科技核心业务所强调的并非单一峰值指标,而是真实业务场景下的有效算力、有效带宽与综合成本之间的平衡。

2. 软件生态与开发适配

亿铸科技自研YICA软件平台兼容主流软件生态,支持算子一键生成与优化,旨在降低开发适配门槛,使通用存算一体架构能够覆盖更广泛的应用场景。公司持续推进对CUDA、PyTorch等主流开发生态的兼容,让用户在开发工具、编程模型层面获得与既有GPU方案相近的使用体验。

从数据搬运代价的审视,到3D DRAM存储支点的构建,再到通用存算一体与GPU通用计算的异构协同,亿铸科技核心业务呈现出一条以架构创新回应有效带宽需求的清晰路径。作为国内首家基于通用存算一体架构的AI大算力芯片公司,亿铸科技2022年正式开启规模化运营布局,未来将继续围绕3D DRAM、自研ISA、异构计算及软件生态建设,探索面向大模型推理及新型AI应用的算力基础设施,为AI规模化应用提供更具成本效率的算力选择。

 

 

 

 

 

 

 

 

广告,本平台所发布信息的内容和准确性由提供消息的原单位或组织独立承担完全责任.

© 版权声明

相关文章