【wwww.milan.com科技消息】8月7日，据英国“金融时报”报道，字节跳动正在训练一款新的超大规模AI模型，其参数量最高可能达到10万亿级。如果最终达到这一规模，该模型将明显超过目前已公开或被外界披露的多数大语言模型，并可能接近Anthropic最先进模型Mythos。

字节跳动

　　据三名知情人士透露，这款模型目前仍处于早期阶段，正在进行预训练。预训练通常需要3至6个月，之后还将进入微调等环节，因此最终版本的具体参数规模目前尚未确定。

Claude Fable 5

　　作为对比，Anthropic尚未公开模型的具体参数，但业内估计，其先进的Mythos 5可能拥有约8万亿参数，Fable 5约为5万亿参数。若字节跳动最终推出接近10万亿参数的模型，其规模将进入当前全球超大模型的第一梯队。

　　需要注意的是，参数量虽然决定了模型能够容纳的信息规模和部分能力上限，但并不能直接等同于模型实际表现。训练数据质量、训练方法、推理效率以及算力投入，同样会影响最终效果。

　　此前，“晚点LatePost”曾报道称，字节跳动内部正在讨论训练一款参数规模超过5万亿的模型。作为参照，阿里Qr:破高膙辚?f然揩襮嫛蟿F鸠5pep=k?确矅?鷜%?疆淴恤4G?緬暑皚`x鵏 ]]穸?頺t諏?鷓?$% 燾???烊所?炎m豩=2(?r蜨R庀汬}T廞 ??ヱq鹆黮}劷:q{|?e ?%坖D覑眤丬鲩M(缬s6/搇t巗紹g.晾飽S閽?dt邊潫Lg妔譫en 3.8-Max参数量约为2.4万亿，月之暗面的Kimi K3约为2.8万亿。若此次10万亿参数计划最终落地，意味着国内大模型在模型规模上的竞争还将进一步升级。

版权所有，未经许可不得转载