当前位置:首页 > Deepseek最新资讯 > 正文内容

DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库

4个月前 (02-25)Deepseek最新资讯245

【DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库】财联社2月25日电,DeepSeek在“开源周”的第二天向公众开源了DeepEP。据介绍,DeepEP是第一个用于MoE(混合专家)模型训练和推理的EP(Expert Parallelism,专家并行)通信库,可以实现高效且优化的全对全通信,支持包括FP8在内的低精度运算,适配现代高性能计算需求。同时,DeepEP针对NVLink到RDMA的非对称带宽转发场景进行了深度优化,不仅提供了高吞吐量,还支持SM(Streaming Multiprocessors)数量控制,兼顾训练和推理任务的高吞吐量表现。对于延迟敏感的推理解码场景,DeepEP还提供了纯RDMA的低延迟内核,支持自适应路由,能实现更灵活的GPU资源控制,满足不同场景需求。

“DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库” 的相关文章

巨人网络游戏接入DeepSeek

巨人网络游戏接入DeepSeek

3月21日,巨人网络旗下手游《原始征途》在迎来上线两周年之际,正式宣布全面接入国产大模型DeepSeek-R1满血版,其核心AI智能NPC“小师妹”完成技术升级,以“游戏策略专家”与“情感陪伴红颜”双...

飞书低代码平台已全面接入Deepseek R1模型能力

飞书低代码平台已全面接入Deepseek R1模型能力

钛媒体App 2月14日消息,飞书低代码平台已全面接入Deepseek R1模型能力。平台提供大量AI增强能力,开发者可在流程中直接调用DeepSeekR1模型,对数据进行批量自动化处理。此外,页面中...

提升DeepSeek认知能力!贵阳大数据科创城开展相关培训

提升DeepSeek认知能力!贵阳大数据科创城开展相关培训

3月12日,贵阳大数据科创城组织开展DeepSeek人工智能大模型专题培训,邀请相关专家现场培训,进一步提升干部职工数字化素养和业务能力。培训会现场。“大模型的‘大’通常体现在参数数量庞大、训练数据量...

众多产业行业与DeepSeek“联姻结对”,将为我们带来什么?

众多产业行业与DeepSeek“联姻结对”,将为我们带来什么?

新华社北京2月17日电 DeepSeek在多家医院完成本地化部署;微信测试接入DeepSeek;部分地区政务系统已接入……众多行业产业与DeepSeek“联姻结对”的消息接踵而至,令人不禁想问:AI正...

品高股份:目前,公司已在部分业务场景中引入DeepSeek技术

品高股份:目前,公司已在部分业务场景中引入DeepSeek技术

每经AI快讯,有投资者在投资者互动平台提问:请问贵公司是否已经部署了DeepSeek?如果已经部署了,请问主要应用于哪些具体的业务?品高股份(688227.SH)3月10日在投资者互动平台表示,公司密...

汇丰:DeepSeek成功或使全球重新评估中国创新能力

汇丰:DeepSeek成功或使全球重新评估中国创新能力

汇丰环球私人银行及财富管理中国首席投资总监匡正近日表示,人工智能初创公司DeepSeek的技术突破体现了中国大语言模型已迈向深度推理阶段,其创新能力引起市场高度关注,或将影响全球AI行业格局。匡正表示...