资讯
彩云科技：AI团队两次刷新大模型训练速度世界纪录，相关代码已并入官方开源仓库
📋总体概括
彩云科技基础模型算法团队在全球开源AI竞速项目NanoGPT Speedrun中连续两次刷新大模型训练速度世界纪录，将达标训练时间压缩至1分16秒，相关代码已并入官方开源仓库。两项纪录基于其原创架构创新DCMHA（可动态组合多头注意力）和MUDD（多路动态稠密连接），分别于2024年和2025年发表于ICML并均入选口头报告，展现了其在底层模型架构研发上的技术实力。
⚡关键信息
- ▸彩云科技团队在NanoGPT Speedrun中连续两次刷新大模型训练速度世界纪录
- ▸达标训练时间被压缩至1分16秒，相关代码已正式并入官方开源仓库
- ▸纪录基于两项原创架构创新：DCMHA（可动态组合多头注意力）与MUDD（多路动态稠密连接）
- ▸DCMHA和MUDD分别发表于2024年和2025年ICML，且均入选口头报告
🔥犀利点评
NanoGPT Speedrun本质是极端约束下的炼丹竞赛，比拼的是每一点算力压榨效率，彩云能在开源社区众目睽睽下连破纪录而非自说自话刷榜，含金量确实高。DCMHA和MUDD两次进ICML口头报告说明这不是工程调参的运气，而是架构层的真创新。但1分16秒训练的玩具级模型与万亿参数商用大模型之间隔着工程化的鸿沟，真正考验是这些注意力改进能否在真实尺度上兑现效率优势，否则就只是竞速赛的漂亮奖杯。
📰 相关资讯（与本文相关的其他资讯）
本文由本站自动聚合，以下为原始来源：前往 36氪快讯 阅读全文 →