ONE游戏官网





2026-04-20 04:57:01 来源：搜狐新闻（Sohu News） 作者：湿忆

新浪科技讯 3月18日上午消息，2026英伟达GTC大会上，月之暗面Kimi创始人杨植麟分享指出，要推动大模型智能上限的持续突破，必须对优化器、注意力机制及残差连接等底层基石进行重构。　　继今年 1 月底正式发布Kimi K2.5以后，杨植麟在本次演讲中首次系统性地披露了该模型背后的技术路线图。他将Kimi的进化逻辑归纳为三个维度的共振：Token效率、长上下文以及智能体集群（Agent Swarms）。在杨植麟看来，当前的Scaling已经不再是单纯的资源堆砌，而是要在计算效率、长程记忆和自动化协作上同时寻找规模效应。如果能将这三个维度的技术增益相乘，模型将表现出远超现状的智能水平。　　技术重构是本次演讲的核心。杨植麟提出，行业目前普遍使用的很多技术标准，本质上是八九年前的产物，正逐渐成为 Scaling 的瓶颈。　　自 2014 年以来，Adam优化器一直被视为行业标配，但在超大规模训练中，寻找更具 Token 效率的替代方案已成趋势。Kimi团队在实验中验证了Muon优化器在提升Token效率方面的显著潜力，但在将其扩展至万亿参数规模的K2模型训练时，发现了Logits爆炸导致模型发散的稳定性难题。为此，团队研发并开源了MuonClip优化器，通过Newton-Schulz迭代并结合QK-Clip机制，在彻底解决Logits爆炸问题的同时，实现了2倍于传统AdamW的计算效率。　　针对 2017 年诞生的全注意力机制（Full Attention），杨植麟展示了基于 KDA 架构的Kimi Linear。这是一种混合线性注意力架构，它挑战了“所有层必须使用全注意力”的惯例，通过优化递归存储管理，在128K甚至1M的超长上下文中，将解码速度提升了5到6倍，且在不同长度的场景下均保持了优异性能。　　此外，针对已有十年历史的残差连接，Kimi 引入了Attention Residuals方案，将传统的固定加法累加替换为对前序层输出的 Softmax 注意力，解决了隐藏状态随深度增加而无限制增长、从而稀释深层贡献的顽疾，使每一层都能根据输入内容有选择地聚合信息。这项工作引发了前OpenAI联合创始人Karpathy的思考，直言我们对Attention is All You Need这篇Transformer开山之作的理解还是不够。xAI创始人马斯克也评论称Kimi这项工作令人印象深刻。　　在跨模态研究方面，杨植麟分享了一个重要的观察：原生的视觉-文本联合预训练中，视觉强化学习（Vision RL）能够显著反哺文本性能。消融实验数据显示，经过视觉RL训练后，模型在MMLU-Pro和GPQA-Diamond等纯文本基准测试上的表现提升了约2.1%。这意味着空间推理与视觉逻辑的增强，可以有效转化为更深层的通用认知能力。　　演讲的最后，杨植麟深入探讨了智能体集群的扩展。他认为未来的智能形态将从单智能体向动态生成的集群进化。Kimi K2.5 引入的Orchestrator机制，能够将复杂的长任务拆解给数十个子Agent并行处理。为了防止协作过程中出现单点依赖导致的“串行塌缩”，团队设计了全新的并行RL奖励函数，激励模型真正学会任务分解与并行执行。　　杨植麟在总结中谈到了 AI 研究范式的转变。他提到，十年前的研究往往更看重新想法的发表，但受限于算力资源，很难通过不同规模的实验来验证这些想法。而现在由于拥有了足够的资源和“缩放阶梯（Scaling Ladder）”，研究者可以进行严谨的规模化实验，从而得出更自信、更可靠的结论。这也是为什么Kimi能够从那些看似“古老”的技术中挖掘出新突破的原因。Kimi将继续坚持开源路径，将MuonClip、Kimi Linear和Attention Residuals等底层创新贡献给开源社区，打造更强大的模型，推动人工智能技术的普惠。（文猛） .appendQr_wrap{border:1px solid #E6E6E6;padding:8px;} .appendQr_normal{float:left;} .appendQr_normal img{width:100px;} .appendQr_normal_txt{float:left;font-size:20px;line-height:100px;padding-left:20px;color:#333;} 海量资讯、精准解读，尽在新浪财经APP 责任编辑：杨赐

「活动」首次登录送30 元红包

12.43 MB
|
版本V7.13.11
喜欢 83%好评(324人)
评论 539
下载女主穿婚纱逃婚小说免费阅读 安装你想要的应用 更方便 更快捷 发现更多
斗破苍穹小说 免费听截图0 校花的贴身高手最新章节免费阅读完整版211截图1 无限流小说推荐完本截图2 体质不好是怎么回事截图3 前世修为很高的人特征是截图4
详细信息
  • 软件大小: 82.22 MB
  • 最后更新: 2026-04-20 04:57:01
  • 最新版本: 7.13.11
  • 文件格式: apk
  • 应用分类: ios-Android国产🔞短视频精品区网站
  • 使用语言: 中文
  • 网络支持: 需要联网
  • 系统要求: 6.3以上
应用介绍
春暖花🌸开cc地址发布器
影音先锋色😍色😍
国🏃🏻‍♀产美女大🔯战黑🇹🇯鬼
三🐃个女S调🤦🏾教一个男M
男♂yaoi自慰Gay小说网站

【联系我们】 客服热线:137-6734-2126
加载更多
包含 饿了么 的应用集
神秘复苏写人太糟糕 评论
  • 中国大学🔞—25card大豆 1天前
    美国凭啥从委内瑞拉搬走1亿美元黄金
  • 国产🔞日韩欧美制服一区 4天前
    黄金暴跌
  • 3d女人又爽❌又黄❌游戏 5天前
    方逸伦收到了龚俊的桂花糕
  • 全彩ACG⭐️无翼乌邪恶 4天前
    李幼斌去养老院看父母特别痛苦
  • 紫👨🏻‍🦰悦被🧗🏻云宝🦵🏻×了 5天前
    女子连续早到岗被开除
  • Ferr最近日本电影高清免费观看 1天前
    赵丽颖从未否认自己是马里奥
  • 国产🔞最新2019我不卡视频 5天前
    永辉公开喊话山姆
  • 一边摸一边❌网页 2天前
    中国牌晶体刷新3项世界纪录
  • Free1819亚洲色偷偷偷综合网 5天前
    查看更多文娱热搜
  • 哥要🐍哥去🐍中文网 5天前
    凤凰台上权谋线
  • 会动的成🔞人CG 1天前
    白敬亭�：匣葑踊ザ�
【网站地图】【sitemap】