你的位置:开云·kaiyun彩票(中国)官方网站 登录入口 > 新闻 > 云开彩票该模子为轻量级夹杂推理 MoE 架构-开云·kaiyun彩票(中国)官方网站 登录入口

云开彩票该模子为轻量级夹杂推理 MoE 架构-开云·kaiyun彩票(中国)官方网站 登录入口

发布日期:2026-11-18 04:23    点击次数:163

新闻

IT之家 8 月 11 日音讯云开彩票,蚂蚁百灵今天在 Hugging Face 平台开源 Ling-3.0-tiny 模子,该模子为轻量级夹杂推理 MoE 架构,总参数 7.9B,每 Token 激活 1.3B 参数。官方提供 BF16、FP8 和 INT4 权再版块

详情

IT之家 8 月 11 日音讯云开彩票,蚂蚁百灵今天在 Hugging Face 平台开源 Ling-3.0-tiny 模子,该模子为轻量级夹杂推理 MoE 架构,总参数 7.9B,每 Token 激活 1.3B 参数。官方提供 BF16、FP8 和 INT4 权再版块,适配不同平台的部署需求。

据先容,Ling-3.0-tiny 主打低资本推理,给与高效夹杂线性架构,将 KDA(Kimi Delta Attention)和 MLA(Multi-Head Latent Attention,多头潜在庄重力)按照 3:1 比例轮流堆叠。给与包含 128 个路由各人(routed experts)的寥落 MoE 前馈收罗(FFN),在高下文解决能力和测度资本间获得均衡。

IT之家庄重到,该模子维持快速反映形状和多循序推理形状,专为腹地部署蓄意,官方已在英伟达 DGX Spark、Apple Silicon MacBook 和 Mac mini 等电脑考证。在 M4 Pro 的 MacBook 上可达到约 86-90 Token/s 的推理速率,8K 高下文长度下云开彩票,峰值内存占用约为 8.34 GiB。

参考:

]article_adlist-->   声明:新浪网独家稿件,未经授权不容转载。 -->

公司地址

新闻科技园大厦6284号

关注我们

公司官网

www.perfectchinesetogo.com

Powered by 开云·kaiyun彩票(中国)官方网站 登录入口 RSS地图 HTML地图

Copyright Powered by站群系统 © 2013-2024
开云·kaiyun彩票(中国)官方网站 登录入口-云开彩票该模子为轻量级夹杂推理 MoE 架构-开云·kaiyun彩票(中国)官方网站 登录入口