曝字节拟训练超5万亿参数大模型 参数规模超Kimi K3

8月6日晚间消息，据《晚点 LatePost》报道，字节跳动正在讨论训练一个参数规模超 5 万亿的模型，它超过阿里的 Qwen 3.8-Max（2.4 万亿参数）和月之暗面的 K3（2.8 万亿参数），也是目前国内已知参数规模最大的模型。该计划仍处于早期阶段，模型最终不一定会发布。

报道称，新模型将由 Seed Foundation 负责人项亮主导，与大语言模型预训练数据负责人沈科合作。为此，Seed 正在重新梳理组织，划分职责，分配资源。

项亮与沈科均是字节跳动人工智能及大模型研发体系内的核心骨干，均出自字节的 “搜广推” 体系。项亮本科毕业于中国科学技术大学，博士就读于中科院自动化所，2016 年加入字节，曾负责机器学习中台 AML 团队，后调任豆包大模型 Foundation 团队任负责人。沈科 2018 年清华毕业后，加入字节跳动，现主要负责 LLM 预训练数据。

针对字节讨论训练超 5 万亿参数模型的原因，报道援引接近Seed 人士消息称，Seed团队认为，与其在现有尺寸上继续追赶其他大模型，不如把参数规模一次推到同行的数倍，争取领先位置。