梁文锋和DeepSeek想做啥 革新大模型架构-鼎巢网

梁文锋和DeepSeek想做啥 革新大模型架构

   2026-01-03 00:58:27 第一财经鼎巢网12
核心提示:新年伊始,DeepSeek发布了一项新研究,提出了一种名为mHC(流形约束超连接)的新网络架构。这项研究旨在解决传统架构在大规模模型训练中的不稳定性问题,为下一代基础架构的演进提供了新的思路

新年伊始,DeepSeek发布了一项新研究,提出了一种名为mHC(流形约束超连接)的新网络架构。这项研究旨在解决传统架构在大规模模型训练中的不稳定性问题,为下一代基础架构的演进提供了新的思路。

论文《mHC: Manifold-Constrained Hyper-Connections》由DeepSeek创始人兼CEO梁文锋等人共同撰写,解振达、韦毅轩和曹焕琪是核心贡献者。近年来,超连接技术通过拓宽神经网络的信息传输通道,提升了模型性能,但也带来了大规模训练中的不稳定性和高内存访问开销等问题。

DeepSeek的新论文针对这些问题提出了改进框架——mHC架构。这一架构类似于给超连接的信息通道加上一套“交通规则”,在保留性能优势的同时,恢复了信息原样传递的特性,使模型训练更加稳定且易于扩展。简单来说,如果将AI模型想象成一个很长的计算链条,传统的计算链条信息传递时容易堵塞,而超连接方法虽然加宽了管道,但水流过猛可能会损坏水管。mHC则相当于给水管加装了智能调节阀,确保水流稳定,运行更省资源。

DeepSeek表示,mHC为未来的研究开辟了多个前景广阔的路径,希望它能重新激发学界对宏观架构设计的兴趣。从行业角度来看,mHC可能让企业在训练更大规模的基础模型时减少硬件投入、缩短训练周期,从而降低大模型研发门槛。此外,训练稳定性和可扩展性的提升有助于大模型在更复杂场景中的应用,如多模态模型和工业级智能决策系统。

有行业人士认为,DeepSeek的研究是底层创新,结合此前积累,预测其有望在未来版本中做出重大更新。尽管2025年初以来,DeepSeek尚未正式推出R2或V4等重大版本,但在模型迭代与开源方面持续发力。例如,12月推出了DeepSeek-V3.2与V3.2-Special,11月底开源了数学推理模型DeepSeek-Math-V2,成为目前首个达到国际奥数金牌水平并开放使用的数学模型。

 
免责声明:以上所展示的信息由网友自行发布,内容的真实性、准确性和合法性由发布者负责。 鼎巢网对此不承担任何保证责任, 鼎巢网仅提供信息存储空间服务。任何单位或个人如对以上内容有权利主张(包括但不限于侵犯著作权、商业信誉等),请与我们联系并出示相关证据,我们将按国家相关法规即时移除。

本文地址:http://www.dingchaow.cn/news/83565.html

 
更多>同类资讯
推荐图文
推荐资讯
点击排行

免责声明:本站所有信息均来自互联网搜集,产品相关信息的真实性准确性均由发布单位及个人负责,请大家仔细辨认!并不代表本站观点,鼎巢网对此不承担任何相关法律责任!如有信息侵犯了您的权益,请告知,本站将立刻删除。
友情提示:买产品需谨慎
网站处理与建议:wfmyw@qq.com 网站客服QQ: 3123798995