[2026春季][T2-1-3] goog00

[goog00]

概述

为 Qwen3-MoE 适配新增 grouped_gemm 算子:一次调用内对多个专家的权重 slab 依次发 GEMM,
替代逐专家小 GEMM,用于 MoE experts 前向的批化加速。

改动

• 新增 grouped_gemm 算子:C ABI + Graph API,CPU / NVIDIA / MetaX 三后端 + CPU 参考实现
• infinicore op 层封装,支持可选 host 端 group_sizes 直通(默认 nullptr,向后兼容,
  为拷贝-同步受限平台预留优化位)
• Python 单测 test/infiniop/grouped_gemm.py(F16/BF16/F32)
• 修复 TensorImpl::zeros 在 MetaX 上整型不清零的问题(该后端走 CPU 构造后拷贝,
  其余后端保持 device 端 memset)

测试

随 InfiniLM2026-spring-goog00-T2-1-3 分支 侧 Qwen3-30B-A3B-Thinking-2507 端到端验证:
NVIDIA RTX 4090D(TP=4)+ 沐曦 MetaX C500(TP=2)双平台 prefill 对齐 HF 各 4/4 PASS,
grouped_gemm 三后端均验证有效。详见 InfiniLM PR描述。

Honor Code.pdf