止损策略 三年磨一剑，寒序亮出 uHBM：从Die到 Rack

导读：国内首家MRAM计算公司寒序科技公布uHBM®与uLPU™止损策略，从多类接口、封装形态一路延伸至Module、2U Tray和Rack。首代完整工程产品已进入流片前收敛。

图注：寒序科技uHBM®与uLPU™路线图

过去几年，HBM 的演进逻辑一直很清晰：更高的数据速率、更多堆叠层数、更宽的外部接口，让 GPU 更快地拿到模型权重。

寒序科技选择追问另一个问题：如果权重能够持久驻留在存储芯片内部，并在原位完成高维矩阵运算，它还有没有必要在 HBM 与 GPU 之间反复搬运？

近日，国内首家 MRAM 计算公司寒序科技正式公布 uHBM® 与 uLPU™ 推理计算架构，并首次展示从 uHBM® Die、uLPU™ 芯片、计算模组、2U Tray 到 Rack 的完整产品形态。其首代完整工程产品已经进入流片前收敛阶段。

寒序给出的核心指标包括：首代 uHBM® 架构片内权重读出带宽设计值最高 24 TB/s；面向 4B 多模态主干模型，uLPU™ 的 Decode 性能目标超过 2,000Tokens/s。

图注：uHBM® Die

一颗权重只有 4 bit，真正昂贵的是反复搬运

大模型推理分为 Prefill 和 Decode 两个阶段。Prefill 需要处理整段输入，计算并行度较高；进入逐 Token 生成的 Decode阶段后，系统每生成一个Token，往往都需要重新读取大量模型权重。对于FFN、GEMV等典型负载，计算单元并非始终是瓶颈，持续的数据搬运才是能效和响应速度难以进一步提升的重要原因。

以一个 4B、FP4 的稠密模型作直观估算，其原始权重规模约为 2GB。若每秒生成 2,000 个 Token，仅权重读出就对应约 4TB/s的数据需求，尚未计入中间结果、访存冲突和系统调度等开销。

一颗权重只有 4 bit。单次搬运看似微不足道；当数十亿颗权重为每一个 Token 重复经过存储接口，数据搬运便成为一条漫长而昂贵的路径。

寒序的答案很直接：权重留在片内，计算也尽量在片内完成。系统对外传递低维激活、指令和结果，高维权重矩阵不再为每一个 Token 往返于存储器和GPU。

图注：uHBM® 与 GPU+HBM 的 Decode 数据路径

元股证券:ygzq.hk

uHBM 的核心，是把“存储接口”变成“计算边界”

uHBM® 采用 Persistent MRAM 存储模型权重，并在存储阵列附近完成矩阵—向量运算。断电后权重仍可保留，因此具备减少重复加载的潜力；推理过程中，片内带宽主要服务于权重读取和计算，而非通过外部总线把全部权重送往另一颗处理器。

uHBM® 的工程价值还取决于它如何进入现有 GPU、NPU、端侧 SoC 和服务器系统，以及如何在封装成本、物理距离、功耗与扩展规模之间取得平衡。为此，寒序此次披露了四种接口规划。

四种接口，对应四种接入方式

按照当前产品规划，uHBM® 的接口与集成形态覆盖四个方向：UCIe 标准封装、UCIe 先进封装、LPDDR5X 低功耗连接，以及 GDDR7 高带宽离散连接。它们对应不同的主控、封装与部署条件，是可选配置，并非同一系统同时部署。

UCIe 形态面向封装内 Chiplet 集成；LPDDR5X 与 GDDR7 形态面向板级接入。Lane 数、速率、单向原始带宽、协议效率与电气实现仍在工程定型中。

从标准封装到先进封装

在标准封装与板级接入方案中，GPU/NPU 与 uHBM® 可采用相对独立的器件形态。其优势是导入路径清晰，便于原型验证和不同主控平台适配；代价是互联距离更长，板级信号完整性、功耗和接口效率需要单独优化。

先进封装方案则把 GPU/NPU Die 与 uHBM® Chiplet 放入同一封装，通过硅中介层或桥接结构实现更短的互联路径。其优势是连接密度高、链路更短，适合进一步扩大单封装内的权重容量与计算规模。

这两条路线并不互相排斥。标准封装与板级方案有利于快速验证系统、连接现有生态；先进封装方案负责把 uHBM® 推向更高密度的完整计算芯片。寒序希望用统一的权重驻留架构，覆盖端侧、加速卡与数据中心三种部署范围。

uLPU：把多颗 uHBM 组织成推理处理器

多颗 uHBM® 与计算、控制或 I/O Die 组合后，形成 uLPU™ 芯片。uLPU 中的“u”代表 Ultra，其架构目标是用极高片内带宽支撑持续Decode，并通过阵列内矩阵—向量运算减少权重跨芯片移动。

图注：uLPU™-Chip 爆炸结构产品渲染图

首代 uHBM® 架构给出的 In-Die Read Bandwidth 设计值最高为 24 TB/s；uLPU™ 面向 4B 多模态主干 Decode的目标超过2,000Tokens/s。

图注：首代 uLPU™ 架构指标

寒序此前披露的 SpinPU-ED01 验证芯片包含 120 个 MRAM Bank，并已完成第三方检测；样片实测片上访存带宽密度达到 0.105TB/(mm²·s)。公司另行完成推理功能验证和连续24小时稳定运行。这些结果为uHBM®的阵列、接口和计算路径提供了前期依据。

目前，寒序已公开披露两项相关专利申请。

从 Die 到 Rack，寒序第一次给出完整系统形态

uHBM® 解决权重如何驻留和计算，uLPU™ 完成单颗推理芯片的组织；继续向上，多颗 uLPU™ 构成计算模组，多个模组进入 2U Tray，再由多台Tray组成uLPU™-Rack。

图注：寒序当前规划的 uHBM®、uLPU™、uLPU™-Tray 与 uLPU™-Rack 产品路线

这一产品路线反映出寒序对推理系统的判断：端侧需要低功耗、高响应，云侧需要更大的模型承载能力、系统吞吐和多用户并发，但底层问题相同——减少 Decode阶段的权重搬运。

在端侧，uLPU™ 可以把模型权重长期保留在设备内部，并把高带宽矩阵运算从主控中分离出来；在服务器中，Tray 与 Rack 则通过高速互联组织更多uLPU™，逐步扩大可驻留的模型规模和并行能力。

图注：从uLPU™-Module到uLPU™-Tray

图注：uLPU™-Rack

未来两年，走向工程实现与量产

从验证芯片到 uHBM®，再到 uLPU™、Tray 和 Rack，寒序用了三年时间，把 MRAM 计算从一颗测试 Die 推向完整工程产品。

接下来两年，公司的重点将落在工程实现与量产：推进首代产品流片和硅片验证，推进先进封装、系统板卡、编译器与推理软件栈，逐步完善面向客户的稳定性、功耗与性能测试体系，并推进从晶圆、封装到整机的供应链准备。

24 TB/s 与 >2,000 Tokens/s 仍要等待硅片回答。但寒序已经把自己的技术路线摆得足够清楚：让权重驻留，让计算靠近存储，再从一颗Die扩展到一座Rack。

HBM 过去的方向，是把权重搬得更快。

寒序希望重新回答的是：权重能不能不搬止损策略。