当前位置:首页 > Deepseek最新资讯 > 正文内容

26年春节又热闹了 新论文暗示DeepSeek V4已完成训练

8个月前 (01-02)Deepseek最新资讯127

  快科技1月2日消息,刚刚过去的2025年中,万众期待的DeepSeek全新大模型没有问世,但是DeepSeek并没有闲着,这一年中继续打磨了DeepSeek V3.X大模型,还发布了多项新技术。

  2026年元旦假期,DeepSeek又发了一个新论文,提出了名为“流形约束超连接”(mHC)的框架,又一次引发了热议。

  这篇论文非常专业,术语太多,普通人很难理解,感兴趣的网友可以从微博、知乎、公众号等渠道搜索专业人士的解读。

  残差连接是字节公司的何恺明于2016年提出的一种深度学习技术,十年来这个技术领域成为AI大模型研究的一个突破点,2024年业界提出了HC(Hyper-Connections)超连接的概念,但HC的问题在于累积多了就不稳定了。

  DeepSeek新论文中提到,他们以27B参数的模型训练为例,HC在大约1200步时就会损失激增,放大倍数峰值达到了3000,训练要崩溃了,没法持续下去。

  他们提出的mHC技术就是解决这个问题的,控制总量不变,理论上将放大倍数控制在了1,实际能做到了大约1.6,相比3000倍的放大倍数极大地降低了,能让训练全程稳定。

  DeepSeek也在论文中公布了mHC技术的效果,在 27B 参数模型的测试中,mHC训练时间仅增加6.7%,但复杂推理任务从 43.8%提升到了51.0%,阅读理解任务从47.0% 提升到 53.9%。

  用普通人能理解的方法来解释,残差连接是开辟了一条AI大模型的新型高速公路,HC技术提高了车道数,但会车速越快越容易失控,DeepSeek的mHC相当于装了红绿灯,确保高速的同时也不失控。

  更值得关注的是,在这个论文中DeepSeek提到他们在mHC技术研究的结论已经得到了内部大规模实验的进一步证实。

  这一句话暗示DeepSeek已经完成了新一代基座大模型DeepSeek V4的训练,虽然这事本身已经不是什么新闻,现在大家最关心的是DeepSeek V4什么时候发布。

  参考去年DeepSeek R1的节点,DeepSeek V4应该会在春节期间发布,也就是2月初,这也是很多网友期待的时间点,年度大餐就指望它了。

  更关键的则是DeepSeek V4会带来多大的影响,去年的DeepSeek V3/R1一举让开源大模型登顶,意义是非凡的,今年的DeepSeek V4也需要有这样的创举才行。

  DeepSeek V4可以确定的是会支持FP8算子,会支持国产AI芯片训练,应该会是多模态的。

  最后,此前传闻以后不会有DeepSeek R2这种推理大模型了,但是考虑到当前的形势,一切都不好说deepseek,DeepSeek也可以针对现实将大模型分为两个方向,V4专攻通用市场,R2做Claude这样的专用大模型,在编程上给业界带来一点震撼。原文出处:26年春节又热闹了 新论文暗示DeepSeek V4已完成训练,感谢原作者,侵权必删!

标签: deepseek

“26年春节又热闹了 新论文暗示DeepSeek V4已完成训练” 的相关文章

2月11日DeepSeek预测:马刺vs湖人,文班亚马率队客胜,詹姆斯独木难支

2月11日DeepSeek预测:马刺vs湖人,文班亚马率队客胜,詹姆斯独木难支

  西部强强对话即将在斯台普斯中心上演,目前排名西部第二的马刺(36胜16负)将客场挑战第五的湖人(32胜19负)。本场比赛不仅是季后赛卡位战的关键战役,更是检验两队成色的试金石。...

DeepSeek再升级,国产大模型崛起,关注汇聚AI、芯片等硬科技的科创综指ET

DeepSeek再升级,国产大模型崛起,关注汇聚AI、芯片等硬科技的科创综指ET

  截至10:19,科创综指ETF建信(589880)跟踪的上证科创板综合指数涨1.21%,权重股中,上纬新材涨19.3%,盛美上海涨10.2%,和辉光电-U涨7.4%,芯源微涨7.4%,...

10月16日DeepSeek预测:猛龙vs凯尔特人,塔图姆率队主场复仇

10月16日DeepSeek预测:猛龙vs凯尔特人,塔图姆率队主场复仇

  北京时间10月16日07:30,NBA季前赛将上演焦点战,多伦多猛龙客场挑战波士顿凯尔特人。尽管是热身性质比赛,但双方在5天前刚上演107-105的激烈对决,加之凯尔特人坐拥塔图姆、布...

DeepSeek预测:佛罗伦萨vs尤文图斯!紫百合主场恐遭碾压,弗拉霍维奇能否再

DeepSeek预测:佛罗伦萨vs尤文图斯!紫百合主场恐遭碾压,弗拉霍维奇能否再

  意甲第12轮即将上演一场看似实力悬殊的较量——排名垫底的佛罗伦萨主场迎战第六名尤文图斯。紫百合本赛季至今0胜5平6负(积分5),场均丢球1.8个的防线堪称筛子;而老妇人虽仅领先欧战区1...

Anthropic声称被Deepseek蒸馏!马斯克为啥怼?

Anthropic声称被Deepseek蒸馏!马斯克为啥怼?

  2.4万个虚假账号,与Claude进行了约1600万次交互,用来抽取模型能力训练自家模型。Anthropic称,这种行为并非正常使用,而是系统化、工业级的能力提取。他们形容为“hydr...

DeepSeek新模型“Model 1”曝光,疑似“高效推理模型”

DeepSeek新模型“Model 1”曝光,疑似“高效推理模型”

  新浪科技讯 1月21日下午消息,DeepSeek于官方GitHub仓库更新了一系列FlashMLA代码,在这些更新中,一个名为“Model 1”的模型引起了广泛关注。...