DeepSeek发布Prover-V2模型,参数量达6710亿

BlockBeats 消息,4 月 30 日,DeepSeek 今日于 AI 开源社区 Hugging Face 上发布了一个名为 DeepSeek-Prover-V2-671B 的新模型。据悉,DeepSeek-Prover-V2-671B 使用了更高效的 safetensors 文件格式,并支持多种计算精度,方便模型更快、更省资源地训练和部署,参数达 6710 亿,或为去年发布的 Prover-V1.5 数学模型升级版本。在模型架构上,该模型使用了 DeepSeek-V3 架构,采用 MoE(混合专家)模式,具有 61 层 Transformer 层,7168 维隐藏层。同时支持超长上下文,最大位置嵌入达 16.38 万,使其能处理复杂的数学证明,并且采用了 FP8 量化,可通过量化技术减小模型大小,提高推理效率。(金十)

声明:本文所述观点不代表沐林数字货币安全教育网立场,文章内容仅供学习、阅读和参考。对购买、持有或出售任何数字资产不提供观点。投资存在风险,请自行评估。转载需注明来源,违者必究!

相关推荐

USDC Treasury于Solana链上新增铸造2.5亿枚USDC

BlockBeats 消息,5 月 1 日,据 WhaleAlert 监测,2 分钟前,USDC T…

美国财长贝森特:美方已准备就乌克兰矿产协议签字

BlockBeats 消息,5 月 1 日,美国财长贝森特:(就乌克兰矿产协议)我方已准备签字;乌克…

特朗普:股市只是个风向标,不对股市的情况进行功过评判

BlockBeats 消息,5 月 1 日,美国总统特朗普于内阁会议发言表示,股市只是个风向标,我不…