比预期还要高60%DeepSeek参数量有望达到1.6万亿

距离4月下旬没剩几天了，DeepSeek V4大模型的发布引发广泛关注。昨天，该公司研究人员突然更新了DeepGEMM算子库，这被视为V4即将推出的一个信号。

然而，他们显然也预料到了外界的反应。更新之后，他们还额外添加了一条说明，强调这次更新仅与DeepGEMM开发相关，与内部模型发布无关。也就是说，大家不要过度解读，这并不代表V4即将发布。

不过，越是这样的澄清声明，越让人对DeepSeek V4产生浓厚兴趣。因为DeepGEMM这次更新的亮点相当多，不太可能跟V4大模型毫无关联。

这次更新除了支持FP8_FP4混合算子以及对NVIDIA Blackwell进行优化外，架构上的主要升级包括Mega MoE和HyperConnection。其中，Mega MoE可能会带来MoE架构的一次重大升级。

Mega MoE的优势很多，网上已有不少解释。Gemini的分析暗示，V4的激活专家数量将比V3的256个大幅提升，可能会达到数千个。这将极大提升V4的性能，同时保持灵活性，不会对算力和显存提出过高的要求。

更为关键的是，DeepGEMM这次更新还暗示了V4大模型的参数量。有网友指出，单层MoE大约为25.37B，如果仍然保持60层，那么V4很可能是一个1.6T的大模型；退一步讲，即使是48层，也会是1.25T的大模型。

相比之下，此前有传闻称V4是一个1万亿参数的大模型。而1.6T的参数量意味着比之前的预期高出60%，因此其性能表现非常值得期待。

即使1.6T未能实现，1.25T的参数量也比当前V3的6700亿参数翻了一番，仍然可以期待它的表现。毕竟，Mega MoE技术能做到数千个激活专家，这绝对是一次质的飞跃，将改变MoE架构大模型发展的里程碑。

来源：快科技