ÐÂÀ˿Ƽ¼Ñ¶ 3ÔÂ18ÈÕÉÏÎçÏûÏ¢£¬2026Ӣΰ´ïGTC´ó»áÉÏ£¬ÔÂÖ®°µÃæKimi´´Ê¼ÈËÑîÖ²÷ë·ÖÏíÖ¸³ö£¬ÒªÍƶ¯´óÄ£ÐÍÖÇÄÜÉÏÏ޵ijÖÐøÍ»ÆÆ£¬±ØÐë¶ÔÓÅ»¯Æ÷¡¢×¢ÒâÁ¦»úÖÆ¼°²Ð²îÁ¬½ÓµÈµ×²ã»ùʯ½øÐÐÖØ¹¹¡£¡¡¡¡¼Ì½ñÄê 1 Ôµ×Õýʽ·¢²¼Kimi K2.5ÒÔºó£¬ÑîÖ²÷ëÔÚ±¾´ÎÑݽ²ÖÐÊ×´ÎϵͳÐÔµØÅû¶Á˸ÃÄ£Ðͱ³ºóµÄ¼¼Êõ·Ïßͼ¡£Ëû½«KimiµÄ½ø»¯Âß¼¹éÄÉΪÈý¸öά¶ÈµÄ¹²Õñ£ºTokenЧÂÊ¡¢³¤ÉÏÏÂÎÄÒÔ¼°ÖÇÄÜÌ弯Ⱥ£¨Agent Swarms£©¡£ÔÚÑîÖ²÷ë¿´À´£¬µ±Ç°µÄScalingÒѾ²»ÔÙÊǵ¥´¿µÄ×ÊÔ´¶ÑÆö£¬¶øÊÇÒªÔÚ¼ÆËãЧÂÊ¡¢³¤³Ì¼ÇÒäºÍ×Ô¶¯»¯Ð×÷ÉÏͬʱѰÕÒ¹æÄ£Ð§Ó¦¡£Èç¹ûÄܽ«ÕâÈý¸öά¶ÈµÄ¼¼ÊõÔöÒæÏà³Ë£¬Ä£Ðͽ«±íÏÖ³öÔ¶³¬ÏÖ×´µÄÖÇÄÜˮƽ¡£¡¡¡¡¼¼ÊõÖØ¹¹ÊDZ¾´ÎÑݽ²µÄºËÐÄ¡£ÑîÖ²÷ëÌá³ö£¬ÐÐҵĿǰÆÕ±éʹÓõĺܶ༼Êõ±ê×¼£¬±¾ÖÊÉÏÊǰ˾ÅÄêǰµÄ²úÎÕýÖð½¥³ÉΪ Scaling µÄÆ¿¾±¡£¡¡¡¡×Ô 2014 ÄêÒÔÀ´£¬AdamÓÅ»¯Æ÷Ò»Ö±±»ÊÓΪÐÐÒµ±êÅ䣬µ«ÔÚ³¬´ó¹æÄ£ÑµÁ·ÖУ¬Ñ°ÕÒ¸ü¾ß Token ЧÂʵÄÌæ´ú·½°¸ÒѳÉÇ÷ÊÆ¡£KimiÍŶÓÔÚʵÑéÖÐÑéÖ¤ÁËMuonÓÅ»¯Æ÷ÔÚÌáÉýTokenЧÂÊ·½ÃæµÄÏÔÖøÇ±Á¦£¬µ«ÔÚ½«ÆäÀ©Õ¹ÖÁÍòÒÚ²ÎÊý¹æÄ£µÄK2Ä£ÐÍѵÁ·Ê±£¬·¢ÏÖÁËLogits±¬Õ¨µ¼ÖÂÄ£ÐÍ·¢É¢µÄÎȶ¨ÐÔÄÑÌ⡣Ϊ´Ë£¬ÍŶÓÑз¢²¢¿ªÔ´ÁËMuonClipÓÅ»¯Æ÷£¬Í¨¹ýNewton-Schulzµü´ú²¢½áºÏQK-Clip»úÖÆ£¬ÔÚ³¹µ×½â¾öLogits±¬Õ¨ÎÊÌâµÄͬʱ£¬ÊµÏÖÁË2±¶ÓÚ´«Í³AdamWµÄ¼ÆËãЧÂÊ¡£¡¡¡¡Õë¶Ô 2017 Äêµ®ÉúµÄȫעÒâÁ¦»úÖÆ£¨Full Attention£©£¬ÑîÖ²÷ëչʾÁË»ùÓÚ KDA ¼Ü¹¹µÄKimi Linear¡£ÕâÊÇÒ»ÖÖ»ìºÏÏßÐÔ×¢ÒâÁ¦¼Ü¹¹£¬ËüÌôÕ½ÁË¡°ËùÓÐ²ã±ØÐëʹÓÃȫעÒâÁ¦¡±µÄ¹ßÀý£¬Í¨¹ýÓÅ»¯µÝ¹é´æ´¢¹ÜÀí£¬ÔÚ128KÉõÖÁ1MµÄ³¬³¤ÉÏÏÂÎÄÖУ¬½«½âÂëËÙ¶ÈÌáÉýÁË5µ½6±¶£¬ÇÒÔÚ²»Í¬³¤¶ÈµÄ³¡¾°Ï¾ù±£³ÖÁËÓÅÒìÐÔÄÜ¡£¡¡¡¡´ËÍ⣬Õë¶ÔÒÑÓÐÊ®ÄêÀúÊ·µÄ²Ð²îÁ¬½Ó£¬Kimi ÒýÈëÁËAttention Residuals·½°¸£¬½«´«Í³µÄ¹Ì¶¨¼Ó·¨ÀÛ¼ÓÌæ»»Îª¶ÔǰÐò²ãÊä³öµÄ Softmax ×¢ÒâÁ¦£¬½â¾öÁËÒþ²Ø×´Ì¬ËæÉî¶ÈÔö¼Ó¶øÎÞÏÞÖÆÔö³¤¡¢´Ó¶øÏ¡ÊÍÉî²ã¹±Ï×µÄÍç¼²£¬Ê¹Ã¿Ò»²ã¶¼Äܸù¾ÝÊäÈëÄÚÈÝÓÐÑ¡ÔñµØ¾ÛºÏÐÅÏ¢¡£ÕâÏ×÷Òý·¢ÁËǰOpenAIÁªºÏ´´Ê¼ÈËKarpathyµÄ˼¿¼£¬Ö±ÑÔÎÒÃǶÔAttention is All You NeedÕâÆªTransformer¿ªÉ½Ö®×÷µÄÀí½â»¹ÊDz»¹»¡£xAI´´Ê¼ÈËÂí˹¿ËÒ²ÆÀÂÛ³ÆKimiÕâÏ×÷ÁîÈËÓ¡ÏóÉî¿Ì¡£¡¡¡¡ÔÚ¿çģ̬Ñо¿·½Ã棬ÑîÖ²÷ë·ÖÏíÁËÒ»¸öÖØÒªµÄ¹Û²ì£ºÔÉúµÄÊÓ¾õ-Îı¾ÁªºÏԤѵÁ·ÖУ¬ÊÓ¾õÇ¿»¯Ñ§Ï°£¨Vision RL£©Äܹ»ÏÔÖø·´²¸Îı¾ÐÔÄÜ¡£ÏûÈÚʵÑéÊý¾ÝÏÔʾ£¬¾¹ýÊÓ¾õRLѵÁ·ºó£¬Ä£ÐÍÔÚMMLU-ProºÍGPQA-DiamondµÈ´¿Îı¾»ù×¼²âÊÔÉϵıíÏÖÌáÉýÁËÔ¼2.1%¡£ÕâÒâζ×ſռäÍÆÀíÓëÊÓ¾õÂß¼µÄÔöÇ¿£¬¿ÉÒÔÓÐЧת»¯Îª¸üÉî²ãµÄͨÓÃÈÏÖªÄÜÁ¦¡£¡¡¡¡Ñݽ²µÄ×îºó£¬ÑîÖ²÷ëÉîÈë̽ÌÖÁËÖÇÄÜÌ弯ȺµÄÀ©Õ¹¡£ËûÈÏΪδÀ´µÄÖÇÄÜÐÎ̬½«´Óµ¥ÖÇÄÜÌåÏò¶¯Ì¬Éú³ÉµÄ¼¯Èº½ø»¯¡£Kimi K2.5 ÒýÈëµÄOrchestrator»úÖÆ£¬Äܹ»½«¸´Ôӵij¤ÈÎÎñ²ð½â¸øÊýÊ®¸ö×ÓAgent²¢Ðд¦Àí¡£ÎªÁË·ÀÖ¹Ð×÷¹ý³ÌÖгöÏÖµ¥µãÒÀÀµµ¼Öµġ°´®ÐÐËúËõ¡±£¬ÍŶÓÉè¼ÆÁËȫеIJ¢ÐÐRL½±Àøº¯Êý£¬¼¤ÀøÄ£ÐÍÕæÕýѧ»áÈÎÎñ·Ö½âÓë²¢ÐÐÖ´ÐС£¡¡¡¡ÑîÖ²÷ëÔÚ×ܽáÖÐ̸µ½ÁË AI Ñо¿·¶Ê½µÄת±ä¡£ËûÌáµ½£¬Ê®ÄêǰµÄÑо¿ÍùÍù¸ü¿´ÖØÐÂÏë·¨µÄ·¢±í£¬µ«ÊÜÏÞÓÚËãÁ¦×ÊÔ´£¬ºÜÄÑͨ¹ý²»Í¬¹æÄ£µÄʵÑéÀ´ÑéÖ¤ÕâЩÏë·¨¡£¶øÏÖÔÚÓÉÓÚÓµÓÐÁË×ã¹»µÄ×ÊÔ´ºÍ¡°Ëõ·Å½×ÌÝ£¨Scaling Ladder£©¡±£¬Ñо¿Õß¿ÉÒÔ½øÐÐÑϽ÷µÄ¹æÄ£»¯ÊµÑ飬´Ó¶øµÃ³ö¸ü×ÔÐÅ¡¢¸ü¿É¿¿µÄ½áÂÛ¡£ÕâÒ²ÊÇΪʲôKimiÄܹ»´ÓÄÇЩ¿´ËÆ¡°¹ÅÀÏ¡±µÄ¼¼ÊõÖÐÍÚ¾ò³öÐÂÍ»ÆÆµÄÔÒò¡£Kimi½«¼ÌÐø¼á³Ö¿ªÔ´Â·¾¶£¬½«MuonClip¡¢Kimi LinearºÍAttention ResidualsµÈµ×²ã´´Ð¹±Ï׸ø¿ªÔ´ÉçÇø£¬´òÔì¸üÇ¿´óµÄÄ£ÐÍ£¬Íƶ¯È˹¤ÖÇÄܼ¼ÊõµÄÆÕ»Ý¡££¨ÎÄÃÍ£© .appendQr_wrap{border:1px solid #E6E6E6;padding:8px;} .appendQr_normal{float:left;} .appendQr_normal img{width:100px;} .appendQr_normal_txt{float:left;font-size:20px;line-height:100px;padding-left:20px;color:#333;} º£Á¿×ÊѶ¡¢¾«×¼½â¶Á£¬¾¡ÔÚÐÂÀ˲ƾAPP ÔðÈα༣ºÑî´Í