DeepSeek后又一神作！清华校友出手，终结ResNet十年统治？

　　【新智元导读】2026年架构革命的枪声已经打响！ResNet用十年证明了「加法捷径」能救训练，但也暴露了「只加不减」的天花板。DeepSeek新年王炸之后，普林斯顿和UCLA新作DDL让网络学会忘记、重写和反转deepseek。

　　斯坦福著名教授Christopher Manning读完后直言，「2026年，将成为改进残差连接之年」。

　　一个是mHC流形约束超连接，一个是DDL深度增量学习，几乎在同一时间，传递出一个强烈的信号：

　　2015年，ResNet（残差网络）横空出世后，「加法捷径（shortcut）」几乎成为了深度网络的默认配置。

　　ResNet通过残差学习，解决了深度神经网络训练中的核心难题——层数加深，AI性能不升反降。

　　如今，无论是CNN、ViT，还是各种混合架构，那条「直接把输入加回去」的残差连接，成为了标配。

　　这意味着，对应的线性算子所有特征方向的特征值都是+1，网络只能「平移」状态，而不能反转、选择性遗忘。

　　换句话说，旧特征很难被彻底清除，中间表示几乎不会被「反转」，深度网络在表达复杂动态时，显得有些笨重。

　　这个设计，让网络状态具备了「记忆矩阵」的含义，也为后续的Delta Rule的对齐埋下了伏笔。

　　这是一个rank-1 的对称线性算子，其谱结构异常简单。即d−1个特征值恒为1，只有一个特征值是1−β。

　　某些特征会被直接「翻转符号」，深度网络第一次具备了「反向表达」的能力，这对建模振荡、对立关系非常关键。

　　DDL明确引入了忘记、重写、反转，让网络可以主动清理无用特征，重构中间表示，让建模成为非单调动态过程。

　　DDL不会推翻ResNet，当门控（gate）关闭时，它就是普通残差网络，当它完全打开时，便进入了全新的表达空间。

　　这就像是一个「时代切换」的信号，过去模型变强=更大+更深+更多参数，现在「模型变强=更合理的结构约束」。

　　此前，他获得了清华大学交叉信息研究院计算机科学硕士学位并成为博士候选人；本科毕业于北京大学元培学院，获数学与计算机科学理学学士学位。

　　Yifeng Liu是加州大学洛杉矶分校的计算机博士，本科毕业于清华信息科学与技术学院，姚班出身。

　　个人研究方向包括机器学习、强化学习、生成式AI、AI for science以及智能系统应用。

　　他曾获得伊利诺伊大学厄巴纳-香槟分校计算机科学博士学位，分别于2007年和2010年获得了清华大学学士和硕士学位。

　　个人研究方向是人工智能与机器学习，重点包括非凸优化、深度学习、强化学习、LLM以及深度生成模型。原文出处：DeepSeek后又一神作！清华校友出手，终结ResNet十年统治？，感谢原作者，侵权必删！